将漂移转化为约束：非平稳环境下的鲁棒推理对齐

Hugging Face Daily Papers 论文
reasoning-alignment non-stationary-environments medical-ai benchmark x-ray-imaging

摘要

本文引入了 CXR-MAX，这是一个大规模基准，旨在利用来自多个多模态大语言模型（MLLM）的 X 射线数据，评估非平稳环境下的推理对齐性能。

本文揭示了多模态大语言模型（MLLM）推理对齐领域一个关键但尚未充分探索的挑战：在非平稳环境中，源模型多样化的推理分布往往会发生不可预测的演变，从而向目标模型传递系统性偏差和漂移。为了解决这一问题，我们将多源推理对齐公式化为概念漂移理论下的约束满足问题。我们提出了自主偏好优化（APO），这是一个新颖的框架，它将模型间的差异视为动态的负向约束，而非噪声。APO 通过两阶段协议运行：首先，监督自举将目标模型投影到源模型的能力并集中；其次，感知约束的优化通过多负 Plackett-Luce 目标明确抑制漂移轨迹，从而合成一致的共识流形。在胸部 X 射线解读上的大量实验表明，我们的 7B 模型实现了卓越的鲁棒性，其平均准确率甚至超过了专有源模型。此外，我们发布了 CXR-MAX，这是一个包含来自七个大规模 MLLM 的 170,982 条推理轨迹的大规模基准，以促进关于漂移下推理对齐的研究。代码和数据可在以下地址获取：https://github.com/XiaoyuYoung/APO。
查看原文
查看缓存全文

缓存时间: 2026/05/08 07:46

论文页面 - 将漂移转化为约束：非平稳环境中的鲁棒推理对齐

来源: https://huggingface.co/papers/2510.04142

为了评估非平稳环境中的推理对齐，一个表现出高方差模型间漂移的数据集至关重要。现有的基准测试通常依赖单一来源的标注或静态共识，未能捕捉多流推理中固有的动态冲突。

为解决这一空白，我们引入了 CXR-MAX（多源 X 射线对齐），这是一个旨在促进自主偏好优化研究的大规模基准测试。CXR-MAX 扩展了 MIMIC-CXR 数据集，聚合了来自七种不同、公开可用的多模态大语言模型（MLLMs）的推理轨迹。CXR-MAX 提供了 170,982 个涵盖 14 种胸部病理的推理轨迹蒸馏实例。

相似文章

通过宽基线匹配激发MLLMs中的复杂空间推理

Hugging Face Daily Papers

本文介绍了ReasonMatch-Bench，一个用于多模态大语言模型中宽基线匹配的基准，并提出了动态对应强化学习（DCRL）以提升空间推理能力。实验表明，该方法在基准测试上取得了显著提升，同时保持了通用性能。

残余漂移主导多轮约束推理中的矛盾

arXiv cs.AI

本文介绍了可满足漂移（satisfiable drift），这是一种多轮推理系统在保持内部逻辑一致性的同时，默默违反先前承诺的故障模式，并主导了矛盾。作者提出了DRIFT-Bench，一个包含816个问题的基准测试，并发现经过修复后，98-100%的残余错误是漂移错误。

CoRA: 面向可靠思维链推理的置信度-理由对齐

arXiv cs.CL

本文介绍了CoRA，一种基于GRPO的强化学习框架，旨在将LLM的置信度与生成的理由对齐，以提高思维链推理的可靠性，在多个基准测试中将不对齐误差降低了高达26.51%。

置信度感知对齐让推理型大语言模型更加可靠

arXiv cs.AI

本文介绍了CASPO框架，该框架通过迭代直接偏好优化（DPO），将token级别的置信度与大型推理模型中的逐步逻辑正确性进行对齐。文章还提出了置信度感知思考（CaT），用于在推理过程中动态剪枝不确定的推理分支，以提高可靠性和效率。