当大语言模型意见一致时，它们是对的吗？——将自洽性与跨模型一致性作为置信度信号的审计

# 当LLMs意见一致时，它们正确吗？对作为置信信号的自一致性及跨模型一致性进行审计
来源：https://arxiv.org/html/2607.08065
Kaihua Ding 宾夕法尼亚大学 dkaihua@upenn\.edu作者先前的工作涉及基于输出的错误估计\(Ding,2018 (https://arxiv.org/html/2607.08065#bib.bib3)\)和AI系统评估与评价设计\(Ding,2025a (https://arxiv.org/html/2607.08065#bib.bib4)\)。

###### 摘要

LLM-as-judge\(Zheng et al.,2023 (https://arxiv.org/html/2607.08065#bib.bib28)\)在企业评估流程中日益成为评估AI系统的默认方法，常被扩展为集成\(Verga et al.,2024 (https://arxiv.org/html/2607.08065#bib.bib22)\)或‘专家混合’\(Shazeer et al.,2017 (https://arxiv.org/html/2607.08065#bib.bib20)\)评审团。这些系统共享一个关键假设：*一致性*——评审员之间或模型自身样本之间的一致性——表明正确性。我们表明这一假设并不可靠。一致不等于准确：模型可以与自身一致，不同模型之间也可以相互一致，但这可能源于共享偏差、记忆化的启发式方法或选项位置先验，而非真实情况。我们询问，在一项大规模的跨执行者交叉研究中，一致性何时仍能作为可用的代理：53个执行者为GPQA Diamond和AIME的模型层级、提示策略和规模比较中的指定重叠案例各抽取K=50个样本——总共265,000个样本。使用多数正确性作为部署标签以及分层执行者聚类自助法，一致性是一个正向但较弱的预测因子（ρ在0.20–0.59之间，在项目聚类重采样下均为正），其有用性*取决于情境*：对于未饱和的中层模型以及用于分配计算资源时效果最佳；而对于最一致的前沿模型——最差——表现为过度自信但不够准确（在GPQA案例结果条目中，一致性≥0.8占77%，其中48%是错误的）。一项对三个Claude层级进行的探索性跨模型族检查显示出相同的前沿模型过度自信现象，并且置信错误在跨提供者之间重复出现，超过了边际保持原零假设。因此，自一致性只是正确性的一个*情境性*代理，而不是独立的置信分数。我们公开了去标识化的每次运行结果行和答案分布。

当LLMs意见一致时，它们正确吗？对作为置信信号的自一致性及跨模型一致性进行审计

Kaihua Ding††thanks:作者先前的工作涉及基于输出的错误估计\(Ding,2018 (https://arxiv.org/html/2607.08065#bib.bib3)\)和AI系统评估与评价设计\(Ding,2025a (https://arxiv.org/html/2607.08065#bib.bib4)\)。宾夕法尼亚大学 dkaihua@upenn\.edu

## 1引言

大型语言模型越来越多地被用于*评估*AI系统——作为LLM-as-judge，以及在集成或多评审员（‘专家混合’）面板中，这些面板现在在企业评估流程中很常见\(Zheng et al.,2023 (https://arxiv.org/html/2607.08065#bib.bib28)\)。这些流程基于一种普遍的直觉：*一致性*表明正确性——如果几个评审员意见一致，或者如果模型在许多随机样本中返回相同的答案，则该答案被认为是可信的；如果他们意见分歧，则被视为猜测。但自身一致与正确并不相同：模型可以重复一个答案，可能是因为它真正确定，或者是因为每个样本都通过了相同的记忆化启发式方法、共享的误解、选项位置先验或系统性幻觉。这是文献中记录的在模型评估自身输出时*自我偏好*偏差的自我指涉类比\(Zheng et al.,2023 (https://arxiv.org/html/2607.08065#bib.bib28); Panickssery et al.,2024 (https://arxiv.org/html/2607.08065#bib.bib17)\)——与自身一致可能编码了共享偏差而非正确性。自一致性解码通过返回K个样本中的多数答案来实现这一点\(Wang et al.,2023 (https://arxiv.org/html/2607.08065#bib.bib23)\)，它建立在思维链提示\(Wei et al.,2022 (https://arxiv.org/html/2607.08065#bib.bib24)\)的基础之上。现在，相同的一致性信号被重用于解码之外的其他领域——作为基于成本的路由和级联的置信度估计\(Chen et al.,2023 (https://arxiv.org/html/2607.08065#bib.bib2)\)，用于自适应样本预算分配\(Aggarwal et al.,2023 (https://arxiv.org/html/2607.08065#bib.bib1)\)，以及用于选择性预测和弃权\(Geifman and El-Yaniv,2017 (https://arxiv.org/html/2607.08065#bib.bib9); Kamath et al.,2020 (https://arxiv.org/html/2607.08065#bib.bib12)\)。

自一致性通过多数投票提高*准确性*是公认的，同样公认的是，诱导出的LLM置信度通常校准不佳，甚至在后期训练后可能恶化\(Kadavath et al.,2022 (https://arxiv.org/html/2607.08065#bib.bib11); Lin et al.,2022 (https://arxiv.org/html/2607.08065#bib.bib14); Tian et al.,2023 (https://arxiv.org/html/2607.08065#bib.bib21); OpenAI,2023 (https://arxiv.org/html/2607.08065#bib.bib16)\)。但对于一致性信号本身在路由和弃权系统已经假定其为置信度代理的情况下的可靠性——以及它*何时*失败——在受控的、跨复制审计中，针对硬推理基准进行系统检查的工作较少。我们提供了这样的审计，采用跨执行者设计，将不同执行者和提示中重复出现的置信错误与采样噪声区分开来。我们的论点是：自一致性不是准确性，而是其一个取决于情境的经验代理：一个正向但较弱的信号，其有用性取决于可测量的条件——模型层级和一致性区间、答案空间以及预期用途——我们对此进行了映射。它在一致性未饱和的情况下（中层模型）和用于分配计算资源时是可用的，但作为独立的置信度分数并不可靠，对于过度自信的前沿模型来说最差。

### 贡献。

(1) 一项大规模（265,000样本）、跨执行者的审计，研究自一致性*作为置信度/弃权/路由信号*在GPQA Diamond和AIME上的表现，采用分层执行者聚类自助法和多重性控制。(2) 证据表明，一致性信号在最一致的前沿模型上会*退化*——过度自信但不够准确——这与已知的RLHF后校准回归一致，使得向其进行置信度路由适得其反。(3) 一种基于重复性的分离方法，用于区分重复出现的置信错误与随机的置信错误，再加上一个选项打乱控制，显示GPQA的“置信度”部分源于位置偏差。(4) 诚实的零/边际结果：思维链提高了准确性，但仅边际改善了一致性-正确性信号；而置信度路由级联的性能总是次于始终使用中层模型。(5) 发布了一个去标识化、经过模式验证的数据集和分析流程。(6) 一项*探索性的*、代理介导的跨模型族检查（三个Claude层级），与前沿模型的过度自信一致，并表明置信错误部分*在提供者之间共享*（GPT和Claude在边际保持原零假设下，对于两个较小层级选择了相同的错误答案）——因此高一致性可能反映共享偏差，而非正确性。

表1：自一致性C与样本准确性A及多数正确性M之间的Spearmanρ（逐单元），附带分层执行者聚类自助法95%置信区间（B=2000）。C̅，M̅是单元均值。所有十二个ρ(C,M)均为正，并经受住Holm校正（adj.p≤.0024）。†仅纳米层–GPQA的ρ(C,A)置信区间穿过零。前沿模型gpt-4.1具有最高的一致性（C̅=.89），但ρ最低，且在准确性上并不优于mini层。表2：*事后*焦点对比（均为GPQA），关于部署标签M（E1：成对ΔM上的Wilcoxon检验；E2：Δρ上的置换检验）；AIME为次要。这些对比是在*更早的分析和先前的审核之后*选择的，因此p值是描述性的，而非验证性的；Holm仅应用于表1的十二个逐单元ρ(C,M)检验。E2是更强的对比——它能经受住针对两个对比的Bonferroni校正（padj=.05）和案例聚类自助法，并在AIME上重复出现（Δρ=−.26，p=6×10−4）；E1是*边界性*的（其ΔM置信区间穿过零），但其准确性效应很强（ΔA=+.067，p=2×10−5）。

## 2设置

### 数据来源。

这些运行结果由53个执行者完成，他们完成了一项研究生课程中的作业（参与者共享课程背景，可能交换了代码或进行了讨论，因此运行结果是独立提交的，但不能保证统计独立性）；我们对他们提交的运行级别输出进行*二次的、去标识化的*元分析。没有执行者可以被识别：所有个人标识符已被移除，并替换为匿名索引。我们发布去标识化的每个执行者-每个案例行（匿名执行者索引、案例ID、答案计数分布以及C/A/M）*不包含*GPQA问题文本——足以重现聚类分析（§伦理声明）。由于执行者被分配了重叠的案例（并且每个执行者在相同案例上运行了其轴的两个条件，因此轴B和轴C的对比在执行者内是配对的），每个（轴，条件，案例）单元平均由2.5个执行者独立重新采样（最多9个）；总计数据包含5,300个案例结果行，覆盖394个唯一案例。这种重叠是§7中复制分析的基础。

### 基准。

GPQA Diamond\(Rein et al.,2024 (https://arxiv.org/html/2607.08065#bib.bib19)\)：研究生级别的四选项多选题{ A,B,C,D }。AIME：整数答案的竞赛数学{ 0,...,999 }。它们处于答案空间光谱的两端：GPQA的四个选项即使随机抽样也将C的下限设定在接近1/4，因此高C具有区分性；AIME的大空间则将C的下限设定为任何无法推理的模型。

### 设计。

每个执行者被分配三个受控比较之一，每个比较有两个条件（a vs. b），温度为1.0，K=50，在gpt-4.1系列上进行：轴A模型层级（nano vs. mini，零样本）；轴B提示策略（mini零样本 vs. mini思维链）；轴C中层 vs. 前沿（mini vs. gpt-4.1，零样本）。执行者实现了自己的提示，因此提示措辞各不相同——我们将其视为测量的一部分（§局限性）。每个执行者在*相同*案例上运行了其轴的*两个*条件，因此所有轴B和轴C的对比在执行者内是配对的（100%配对）；表3报告了计数。确切的模型快照和运行时间戳未被记录且无法恢复，因此我们的复制是跨执行者和提示的，而非跨时间的（§局限性）。

表3：按轴划分的设计和计数。“行”是两个条件下的案例结果行；“rep”是每个（条件，案例）单元的平均执行者数量（最多6–9）。每个执行者在相同案例上运行了两个条件，因此轴B/C的对比在执行者内是配对的。总计：53个执行者，394个唯一案例，5,300行。
### 指标。

对于每个（案例，条件），我们计算自一致性C=n_maj/K，样本准确性A=n_correct/K，以及多数正确指示符M=1[多数答案=真实答案]。由于部署的多数投票系统返回多数答案，M是我们的主要结果；A是次要的。我们将C视为被审计的部署后置信度分数，而非校准概率：C具有依赖于基准的下限（对于四选项GPQA接近1/4，对于AIME则低得多），因此“过度自信”意味着高C与错误同时出现，而非正式意义上的校准概率错误；C对M的ECE/Brier是部署使用的操作性诊断（附录中的可靠性图）。*分析单位：*单元均值、ECE/Brier以及err∣C≥.8是按案例结果条目进行行加权；§7中的“always-CW”和重复率是按唯一案例进行案例加权。

### 推断。

我们报告Spearmanρ。条目并非独立同分布（每个执行者贡献许多行；每个案例被许多执行者看到），因此所有置信区间均使用分层执行者聚类自助法（重新采样执行者，然后在执行者内重新采样案例；B=2000；附录A）。由于这校正了执行者依赖关系，但未校正全局共享案例因素，我们还为标题中的前沿结果（§4）报告了案例聚类自助法和留一执行者检查。在修订后的分析之前，我们指定了两个终点（均在GPQA上，为本次修订*事后*声明，未经预注册）——轴B思维链的成对效应（E1；ΔM上的Wilcoxon检验）和轴C前沿模型的退化效应（E2；Δρ(C,M)上的置换检验）；它们的p值以原始形式报告，并在表2中进行了针对两个对比的Bonferroni校正检查。其余单元是探索性的；这些终点是为修订后的分析（由先前的审核提示）声明的，*并非*预注册。Holm校正仅应用于十二个逐单元ρ(C,M)检验家族（表1）；相关*差异*使用置换检验。本文中没有任何推断性主张是预注册的；表2中的终点检验是描述性的稳健性总结，而非验证性的。

## 3自一致性能否预测正确性？

表1报告了所有十二个单元的ρ(C,⋅)。结果与一个*条件性代理*一致：一致性在所有地方都追踪正确性，但强度较弱，且强度在我们接下来变化的各区间内系统性地变化。(1) 正向但较弱。没有单元超过ρ(C,M)=0.6；正确性的大部分方差无法由一致性解释，因此一个“高C自动接受”规则仍会接受许多错误答案。(2) 信号取决于标签。对于GPQA上的nano，ρ(C,A)=0.12的置信区间穿过零，而ρ(C,M)=0.21为正——这强化了M作为正确目标。所有十二个ρ(C,M)均为正，并经受住Holm校正（adj.p≤0.0024）；它们在重采样项目而非执行者的*案例*聚类自助法下也均为正且排除零（表4），因此这种联系并非聚类选择的伪像。(3) 非单调的规模效应。前沿模型gpt-4.1在GPQA上的ρ(C,M)最*低*（0.20），尽管其平均C最高（0.89）；我们接下来研究这一点。

表4：项目聚类稳健性：所有十二个ρ(C,M)的*案例*聚类自助法95%置信区间（重采样案例，而非执行者；B=10）