标签
本文通过证明汇总选择率的标准差可分解为翻转率与位置偏斜两个因子的乘积，将多项选择题大语言模型评估中的选择偏差与顺序敏感性统一起来。基于对41个模型检查点和12个基准的分析，本文表明，先验校正主要降低位置偏斜，而不同排序下的结果聚合主要降低翻转率，并建议同时报告这两项指标。
这篇论文将多选题评测中的选择偏差和顺序敏感性分解为翻转率（flip rate）和位置偏斜（positional skew）两个因素，并发现先验校正主要降低位置偏斜，而顺序聚合主要降低翻转率，建议同时报告这两个因素以区分缓解效果。
本文探讨了在多模态大型语言模型中，冲突证据的顺序对判断的影响，揭示了跨模态证据非交换性：当感知证据置于较后位置时，模型对其的依赖性会增强。
本文研究了多项选择基准上的无标签策略能否消除大型语言模型对选项顺序的敏感性，发现两阶段提示和独立假设评分均无法可靠地提高准确性。
本文测试了无标签策略以减少多项选择基准中的位置偏差，但发现它们不能可靠地提高准确率或减少偏差。只有显示所有选项并使用LLM匹配器才能保持基线性能，而循环排列有时有帮助。
介绍CDR-Bench，一个包含3,462个任务的基准，用于评估LLM忠实执行组合性、顺序敏感数据精炼指令的能力。在10多个LLM上的实验表明，在组合性和顺序敏感的设置中性能显著下降，凸显了缺乏执行流程的忠实性。
一篇被ICML 2026接收的论文提出了通过信息预算弃权门实现可预测幻觉的方法，并发布了ntkMirror——一种免训练的开源权重实现，通过在信息不足时弃权来减少幻觉，在约24%弃权率下实现0.0–0.7%的幻觉率。