Pass@k 和自一致性在数学和代码领域表现出色：多采样并验证。那么我们不禁要问：同样的技巧能否在没有验证器的领域中提升真实性？答案是否定的。很高兴与大家分享我们的 #ICML2026 会议论文：《真实性不会像推理那样扩展》。https://arxiv.org/pdf/2603.06612。我将在首尔举行的ICML上展示它！由 @JoshuaK92829 和 @yegordb 共同领导。

共识并非验证：为何群体智慧策略对LLM真实性失效

来源：https://arxiv.org/html/2603.06612

Joshua Kazdan, Jessica Chudnovsky, Rylan Schaeffer, Sheng Guan, Soji Adeshina, Sanmi Koyejo

摘要

Pass@k 以及其他扩展推理计算的方法，可以在存在外部验证器的领域（包括数学和代码）提升语言模型性能，因为这些领域可以可靠地筛选出不正确的候选答案。这引发了一个自然的问题：我们能否同样地通过扩展计算来在没有便捷验证机制的领域中提升真实性？我们在五个基准测试和多个模型上证明，令人惊讶的是，答案是否定的。即使推理成本是朴素采样的25倍，投票式聚合方法在准确率上也没有比单样本基线取得一致的提升，反而常常放大共同的误解。我们发现，在不确定性下，模型在模型集成中预测其他模型会说什么的能力，比识别真实答案的能力更强，这揭示了社会预测与真实性验证之间的分离。跨模型和基准测试，聚合方法无法提供稳健的真实性信号，因为语言模型的错误高度相关。相关性的根源不仅限于某个特定基准测试：我们证明，即使以分布外的随机字符串为条件并要求生成伪随机输出，不同模型也会产生相关输出。基于置信度的加权方法毫无益处，因为模型自报告的置信度无法可靠地区分正确与错误的答案。这些结果勾勒出推理时扩展的边界：在已验证的领域中，额外样本为验证器提供了更多可供筛选的候选答案；而在未验证的领域中，额外样本只会强化共同的误解。

机器学习，ICML，验证，投票，LLM

1 引言

推理时扩展已成为大规模语言模型参数扩展的一种强大替代方案。通过在测试时分配额外的计算资源，模型可以生成多个候选解决方案并从中选择，从而常常获得准确率的提升。诸如自一致性（Wang et al., 2023 (https://arxiv.org/html/2603.06612#bib.bib28)）、重复采样（Brown et al., 2024 (https://arxiv.org/html/2603.06612#bib.bib15)）和搜索等方法已在数学和代码等可自动验证正确性的领域中被证明有效。在这些设置中，聚合通过外部验证器筛选候选答案来放大能力。一个自然的问题是，聚合是否也能在没有验证的领域中扩展真实性？此时，选择必须依赖内部信号，如一致性、置信度或预测的流行度。一种常见的直觉，借鉴自群体智慧文献（Surowiecki, 2004 (https://arxiv.org/html/2603.06612#bib.bib22)），认为即使个体犯错，聚合许多不完美的判断也应该能恢复真相。我们发现这种直觉并不适用于语言模型。我们评估了多种聚合策略——包括多数投票、置信度加权和“惊人流行”算法（Prelec et al., 2017 (https://arxiv.org/html/2603.06612#bib.bib21)）——在多个开源模型和跨越事实知识、常识推理、专家级问题和预测的基准测试上。我们发现，没有一种聚合方法能持续优于单样本基线；某些方法在一个基准测试上有帮助，但在另一个上可能有害。在结果晚于模型知识截止日期的预测问题上，所有方法的表现都如同随机猜测。这些结果并不与先前自一致性的成功相矛盾；它们指明了这些方法失效的区间。

这种失败可归结为相关错误。群体智慧依赖于一个关键假设：错误最多只能是弱相关的。人类群体满足这一条件，因为个体依赖不同的经验和信息来源。现代语言模型则不然。在重叠语料库上训练、优化类似目标的模型，会获得共享的先验知识和盲点。这与对抗性迁移性类似，不同模型由于学习了相似的特征而以类似方式失败（Goodfellow et al., 2015 (https://arxiv.org/html/2603.06612#bib.bib42)）。当一个模型生成一个看似合理但不正确的答案时，其他模型也经常如此。投票并不能消除这些错误；它反而放大了共同的误解，导致更高的自信而非更高的正确性。

这些相关性的根源是什么？有人可能会认为它们完全源于重叠训练数据中编码的共享知识和误解。为了验证这一点，我们向模型提供随机生成的ASCII字符串，并要求进行强制多项选择回答——这是一个完全没有真实信号的设置。即使在这种零知识基线上，不同语言模型之间的相关性也高达0.35。这排除了共享事实知识作为唯一解释的可能性，并表明相关输出源于对齐的归纳偏差和架构相似性，因此无论采用何种聚合方式都会持续存在。

我们从机制上诊断这些失败。模型错误在模型内部以及跨模型家族之间高度相关，违反了群体智慧所需的独立性。自报告的置信度与正确性不一致，反而追踪预期的一致性。支撑复杂聚合规则的基于惊讶的信号无法可靠地区分真相与共识。同时，模型预测集体意见的能力远优于预测正确性的能力，揭示了社会预测与真实性验证之间的分离。总之，这些结果定义了推理时扩展的边界。当存在验证器时，聚合能提升性能，但它不能作为验证器的替代。在不可验证领域扩展真实性，需要外部依据或能够打破错误相关性的干预措施，而不是从相同的认知先验中获取更多样本——这并非“苦涩教训”（Sutton, 2019 (https://arxiv.org/html/2603.06612#bib.bib1)）的实例化。总结我们的结论：

1. 1. 我们证明，即使在大量推理时计算下，投票式聚合也无法在缺乏验证器的基准测试上可靠地提升真实性。
2. 2. 我们展示语言模型的错误在样本之间和模型家族之间高度相关。
3. 3. 我们解释了为何诸如置信度、预测流行度和惊讶等聚合方法反映的是共识而非正确性。
4. 4. 我们引入一个简单的负控制实验来探测模型间相关性的深度——带有强制选择答案的随机字符串——其中不存在潜在真相，并显示持续性高于偶然水平的一致性。这提供了机制证据，表明相关性反映的是共享先验而非共享知识。

2 相关工作

推理时扩展通过测试时分配计算来补充参数扩展。自一致性解码通过采样多个推理路径并通过多数投票选择答案（Wang et al., 2023 (https://arxiv.org/html/2603.06612#bib.bib28)）。后续工作展示了随样本数量增加的对数线性增益（Brown et al., 2024 (https://arxiv.org/html/2603.06612#bib.bib15); Hughes et al., 2025 (https://arxiv.org/html/2603.06612#bib.bib8)），通过重尾难度分布解释了这些增益（Schaeffer et al., 2025 (https://arxiv.org/html/2603.06612#bib.bib14)），并证明了自适应测试时计算可以超越固定的最佳-of-N策略（Snell et al., 2025 (https://arxiv.org/html/2603.06612#bib.bib43)）。这些成功的共同点是答案可以通过证明检查器或代码执行自动验证。在没有外部验证器的领域，选择必须依赖内部信号。一种建议是将聚合本身视为验证的代理，借鉴群体智慧文献（Surowiecki, 2004 (https://arxiv.org/html/2603.06612#bib.bib22)）。平均独立判断通常优于任何个体，而来自同一人的重复估计可以通过“内在群体”效应减少方差（van Dolder and van den Assem, 2018 (https://arxiv.org/html/2603.06612#bib.bib23)）。来自语言模型的重复样本形成内在群体，而跨模型汇集则形成外在群体，类似于机器学习中的集成。经典集成理论预测，当组件错误多样化或弱相关时能获得增益（Lakshminarayanan et al., 2017 (https://arxiv.org/html/2603.06612#bib.bib25)）。在二元任务中，此假设涉及的是错误事件，而非原始一致性：如果模型在被错误条件化后倾向于选择相同的错误选项，则错误是相关的。现代语言模型越来越违反这一条件。当不同LLM在同一问题上犯错时，它们常常收敛到同一个错误答案（Kim and others, 2025 (https://arxiv.org/html/2603.06612#bib.bib34)），并且错误相关性随着模型能力和训练相似性而增长（Goel and others, 2025 (https://arxiv.org/html/2603.06612#bib.bib35)）。因此，聚合可能放大共同的误解而非消除噪声。

有几种聚合方法旨在当多数人是错误时恢复真相。惊人流行（SP）算法将投票份额与预测份额进行比较，利用知情与不知情回答者之间的不对称性（Prelec et al., 2017 (https://arxiv.org/html/2603.06612#bib.bib21)）。为使SP成功，部分回答者必须知道真相并预见到多数人的错误。虽然SP式聚合已在语言模型中得到探索，但尚不清楚LLM群体是否表现出这种专家-少数结构。我们直接测试了两个前提条件——知道真相和预见多数错误。

其他聚合方案根据自报告置信度对投票加权，假设较高置信度意味着较高准确性。虽然基础语言模型可以校准（Kadavath et al., 2022 (https://arxiv.org/html/2603.06612#bib.bib17)），但后训练往往会降低这一特性（Tian et al., 2023 (https://arxiv.org/html/2603.06612#bib.bib39); Leng et al., 2025 (https://arxiv.org/html/2603.06612#bib.bib40); Xiong et al., 2024 (https://arxiv.org/html/2603.06612#bib.bib37)）。谄媚进一步鼓励一致性而非真相（Sharma et al., 2023 (https://arxiv.org/html/2603.06612#bib.bib36)），表明置信度可能追踪预期共识而非认知确定性。与此相关，关于自我纠正的工作表明，缺乏外部反馈时，模型往往合理化错误而非检测错误（Huang et al., 2024 (https://arxiv.org/html/2603.06612#bib.bib16)）。

由于群体聚合依赖部分独立的错误，共享的训练数据和目标构成了根本障碍。先前工作表明，推理时计算有助于在存在验证器时扩展性能，且LLM错误常常相关。尚待解决的是这种相关性是否限制了缺乏验证器领域的真实性。我们证明确实如此：相关错误施加了一个结构性的限制，自我聚合规则无法克服。

3 实验设置

群体智慧依赖于错误间非强相关的假设。我们的实验通过将投票方法应用于来自单个模型的重复样本（模型内群体）和跨模型汇集的集成（模型间群体），同时衡量聚合所需的相关结构是否满足，来测试这一假设。

任务和响应格式。

我们引出三种响应类型：(i) 二元答案（例如YES/NO或TRUE/FALSE），(ii) 附带0-100自报告置信度的答案，以及(iii) 对一个规范选项的投票份额的预测（例如回答YES或TRUE的响应比例）。诸如多数投票和惊人流行（SP）算法之类的聚合规则需要一个有限的选项空间以及明确定义的投票份额和预测分布。因此二元问题并非必需，而是最简单的设置，避免了离散化伪影并能够跨聚合方法进行比较。这一选择限制了对开放生成的泛化性，我们将在第5节（https://arxiv.org/html/2603.06612#S5）讨论。二元问题代表了投票式聚合最有利的设置；即使在这种简化机制中也未能获得可靠增益，这提供了强有力的证据反对将聚合作为在缺乏验证器领域扩展真实性的一般机制。

我们评估了四个跨越缺乏验证器机制的基准测试：

• •Com2Sense (Singh et al., 2021 (https://arxiv.org/html/2603.06612#bib.bib20))：二元常识推理。
• •人类最后考试 (HLE) (Phan and others, 2025 (https://arxiv.org/html/2603.06612#bib.bib2))：专家级问题，限制在具有自然二元答案结构的问题上。
• •BoolQ (Clark et al., 2019 (https://arxiv.org/html/2603.06612#bib.bib19))：二元事实问答。
• •预测未来：本工作引入的一组预测问题，其中所有真实结果在数据集构建和写作时均已明确解决且可验证，尽管这些事件晚于模型知识截止日期。

HLE子集由于规模较小而产生了更宽的置信区间，但准确率仍远低于50%的猜测基线（5.7%），表明存在系统性地被错误答案吸引，而非采样噪声。

采样协议。

对于每个问题和响应类型，我们在温度T∈{0.7,1.0}下收集每个模型的25个独立样本。我们使用中等到高温度，因为群体聚合需要多样性；在低温度下，重复采样会坍缩为近乎确定性的输出。相关问题并非单个贪婪采样是否优于高温聚合，而是聚合能否在群体方法所需的多样性前提下提供增益。跨所有基准测试，这对应于每个（问题，模型）50个样本，以及实验中总共375,000个模型调用；我们在附录B（https://arxiv.org/html/2603.06612#A2）中报告基准测试级别的计数。

参考图注

图1：没有集成聚合方法在所有基准测试上持续优于多数投票。我们比较了四种基准测试上的五种聚合规则，使用五模型集成（每个问题125票）。某些方法在单个任务上提升了性能，但没有一个能整体占优。误差线显示95%自助法置信区间。

模型和群体。

我们评估了五个指令调优的开源模型，参数规模从4B到235B，跨越三个家族：Gemma-3-4B (Gemma Team, 2025 (https://arxiv.org/html/2603.06612#bib.bib31))、GPT-oss-20B和GPT-oss-120B (Agarwal and others, 2025 (https://arxiv.org/html/2603.06612#bib.bib27))、Qwen-32B (Yang et al., 2024 (https://arxiv.org/html/2603.06612#bib.bib32)) 以及 Qwen3-235B (Qwen Team, 2025 (https://arxiv.org/html/2603.06612#bib.bib26))。模型内群体由单个模型的重复样本组成。模型间群体汇集所有五个模型在T=1.0下的响应，每个问题得到125票。评估