无标签策略下准确性与顺序敏感性出现分化
摘要
本文研究了多项选择基准上的无标签策略能否消除大型语言模型对选项顺序的敏感性,发现两阶段提示和独立假设评分均无法可靠地提高准确性。
arXiv:2608.11947v1 公告类型:新
摘要:多项选择基准被广泛用于评估大型语言模型,但 MCQ 分数将知识与对选项顺序的敏感性混为一谈,使其成为不可靠的模型知识度量。在本文中,我们测试了在模型确定答案时阻止其看到选项标签是否能消除位置影响,并进而提升性能。我们评估了两种不同的偏差缓解策略。第一种采用先生成后匹配的方法,第二种则对选项进行独立评分,这种方法在构造上就是位置无偏的。两者都无法可靠地提高准确性。完整的分解分析表明,瓶颈在于隐藏选项,而非匹配步骤。唯一能持续匹配基线的配置是向模型展示所有选项并搭配 LLM 匹配器的设置。然而,完全消除位置影响仍然不能可靠地带来准确性提升,而循环排列往往能够改善准确性。对于两阶段提示,召回不平衡的聚合度量以及逐问题的直接顺序敏感性度量都无法显示可靠的去偏效果。
查看缓存全文
缓存时间: 2026/08/13 15:29
# 无标签策略下准确率与顺序敏感性出现分化 Source: https://arxiv.org/html/2608.11947 Chen Feng 所属机构:Queen's University Belfast 邮箱:[[email protected]](mailto:) ###### 摘要 选择题基准被广泛用于评估大语言模型,但选择题分数将知识与对选项顺序的敏感性混为一谈,因此无法可靠衡量模型知识。本文检验一个前提:如果模型在作答时看不到选项标签,能否消除位置影响并进而提高性能。我们评估了两种不同的偏差缓解策略。第一种是“先生成后匹配”(generation-then-matching)方法;第二种是对选项进行孤立评分,该策略在构造上就无位置偏差。两种策略都不能可靠地提高准确率。完整的分解分析表明,瓶颈在于不提供选项,而不是匹配步骤。唯一能持续接近基线的配置,是向模型展示所有选项并配合 LLM 匹配器。然而,完全消除位置影响仍然不能可靠地带来准确率提升,而循环置换反而经常能提升准确率。对于两阶段提示,一个聚合的召回不平衡指标和一个直接的逐问题顺序敏感性指标,都无法显示可靠的去偏效果。 ## 1 引言 选择题(MCQ)基准是占主导地位的评估格式之一[6](https://arxiv.org/html/2608.11947#bib.bib9);[3](https://arxiv.org/html/2608.11947#bib.bib10),因为与其他格式相比,它们运行成本低,并且可以自动评分。然而,分数的可信度取决于评估的稳健性。模型在 MCQ 基准上的准确率并不能区分知识与对选项顺序的敏感性[11](https://arxiv.org/html/2608.11947#bib.bib2);[15](https://arxiv.org/html/2608.11947#bib.bib1);[14](https://arxiv.org/html/2608.11947#bib.bib6)。这促使人们研究一系列减少选项顺序效应的方法。许多这类缓解策略要么带来成本,要么带来访问权限要求。假设 k 表示每道题的选项数量,循环置换和全置换不需要访问 logits,但每道题分别需要 k 次和 k! 次调用,这并非总是可行。PriDe[15](https://arxiv.org/html/2608.11947#bib.bib1) 每道题只需一次调用,外加固定的校准开销,但它要求 logits 访问,而许多提供商并不暴露 logits。这些限制促使人们从提示设计(prompt design)入手获得稳健性,而不是通过重复查询或 logits 访问。本文检验一个前提:如果模型在作答时从未看到选项标签,那么选项顺序就无法影响预测。第一种策略是两阶段提示。模型首先只收到问题并生成自由文本答案。然后,在第二阶段,模型将该自由文本答案与最接近的选项进行匹配。第二种策略是独立假设评分(independent hypothesis scoring),其思路不同。模型被提示 k 次;每次调用呈现问题和一个选项,并要求模型为其评分。所有选项评分完毕后,选择得分最高的选项。该策略在构造上就无位置偏差,因为每次调用都是孤立的,没有位置影响响应。我们在两个基准上测试了六个模型,涵盖专有和开放权重系统。我们发现这两种策略都不能可靠地提高准确率。两阶段提示几乎对所有“模型–基准”组合都会降低准确率;独立假设评分则更为复杂:它降低大多数模型的准确率,但提高了 Llama-local,且提升集中在 ARC-Challenge 上。我们沿两个因素对两阶段提示进行分解:第一阶段选项是隐藏还是可见,以及第二阶段使用 LLM 调用还是基于嵌入的语义匹配。分解显示,当第二阶段 LL
相似文章
无标签策略下准确率与顺序敏感性的分歧
本文测试了无标签策略以减少多项选择基准中的位置偏差,但发现它们不能可靠地提高准确率或减少偏差。只有显示所有选项并使用LLM匹配器才能保持基线性能,而循环排列有时有帮助。
一个偏差分数,两个因素:缓解措施如何影响多项选择评估中的选项偏差
本文通过证明汇总选择率的标准差可分解为翻转率与位置偏斜两个因子的乘积,将多项选择题大语言模型评估中的选择偏差与顺序敏感性统一起来。基于对41个模型检查点和12个基准的分析,本文表明,先验校正主要降低位置偏斜,而不同排序下的结果聚合主要降低翻转率,并建议同时报告这两项指标。
论大型语言模型评估中提示排名的稳定性
本文系统研究了常见变异来源下,大型语言模型评估中提示排名的稳定性,发现表现最佳的提示经常发生变化。为此,提出了一种基于下置信界的稳定性感知选择策略,以提高鲁棒性。
模型能否免费捕捉自身的幻觉?:无标签怀疑信号在拒绝回答任务中与标签数据集相媲美
本文提出了一种无标签方法,使大型语言模型在不确定时拒绝回答,利用内部置信信号,并展示其在性能上与监督式拒绝回答调优相匹配。
确认我们的偏见?评估大型语言模型的能力、风险与社会影响
这篇预印本评估了六个大型语言模型在160个提示词中对提示框架和偏见提示的响应方式,发现LLMs即使在事实性语境下也会系统性地调整其响应以与提示框架保持一致,从而可能强化用户的偏见。