大型语言模型中的从众缓解措施位于同一条抵抗-接受前沿上

# 大型语言模型中的从众缓解措施位于单一“抵抗–接受”前沿

来源：https://arxiv.org/html/2608.11247

Zafar Hussain  
奥胡斯大学  
zafar@cas\.au\.dk  
&  
Kristoffer Nielbo  
奥胡斯大学  
kln@cas\.au\.dk  

###### 摘要

语言模型的最新进展催生了协作式场景：多个模型互相利用彼此的能力，迭代地改进、转换并扩展彼此的输出。每个智能体在作答前都会看到其他智能体的断言，因此同伴意见会与模型自身的参数化知识相互竞争，而一个错误的多数意见可以推翻模型原本能答对的答案。我们在 23 个开放权重模型、19 种条件和三个数据集上测量了这种偏移，总共获得超过一百万条分级响应。一个全体一致的错误多数意见使得模型在 22.8% 的 MMLU 正确答案上发生反转，在 GPQA 上为 54.8%，在 SimpleQA 上为 71.0%，其中 84–89% 的被反转答案与同伴答案一致。现有缓解措施旨在提高“抵抗性”（Resistance），即模型在此压力下保持正确答案的比率——但这只是协作智能体所需的一半。我们将其与“接受性”（Receptivity）配对，即模型在最初答错后采纳正确答案同伴答案的比率。我们从两个维度对六种方法进行评分，其中四种来自已有研究，两种是我们自己提出的。每种方法都以牺牲接受性为代价来换取抵抗性，且它们的均值落在同一条“抵抗–接受”前沿线上，R^2 介于 0.80 到 0.90 之间。Reflection——已发表方法中最强的一种——在 MMLU 上提升了 7.9 个百分点的抵抗性，却损失了 15.3 个百分点的接受性。Reasoning 是唯一的例外。在 GPQA 和 SimpleQA 上，它与其他方法一样进行权衡；但在 MMLU 那些模型可以自行推导出答案的科目上，它同时将抵抗性提高了 7.2 个百分点、接受性提高了 9.6 个百分点，这是我们发现的唯一一个能同时改善两者的干预措施。

大型语言模型中的从众缓解措施位于单一“抵抗–接受”前沿

Zafar Hussain  
奥胡斯大学  
zafar@cas\.au\.dk  
Kristoffer Nielbo  
奥胡斯大学  
kln@cas\.au\.dk  

## 1 引言

多智能体系统依赖于语言模型之间的交互，让模型互相评估并完善彼此的响应。虽然这些交互可以改善集体推理，但它们也为模型在压力下偏离最初正确答案创造了机会。Asch 在人类身上也记录了同样的易感性：一旦一个一致的群体反驳被试者，被试者往往会放弃正确的判断 (Asch,1951 (https://arxiv.org/html/2608.11247#bib.bib2))。我们研究语言模型中的从众行为，并追问一种缓解措施付出了什么代价，而不只是它修复了什么。我们的设计除了同伴对问题所说的内容之外，不改变问题的任何其他部分。每个模型首先单独作答，然后在被告知几个同伴模型一致同意另一个答案后再次作答。在不同条件下保持同伴脚本固定，可以使压力处于受控且可重复的状态。对 23 个开放权重模型取平均后，一个全体一致的错误群体会使模型在 22.8% 的广识多选题中放弃自己的正确答案，而在自由形式的事实回忆中，该比率升至 71.0%。被放弃的答案并不是分散到其余选项中，而是集中于群体所指名的那个选项（第5.1节 (https://arxiv.org/html/2608.11247#S5.SS1)），因此同伴压力改变的是答案本身，而不仅仅是对答案的信心（图1 (https://arxiv.org/html/2608.11247#S1.F1)a）。因此，一个校准不佳的智能体就能把整个群体拖离正确答案，并使该群体比其任何单个成员都更不可靠。

参见说明
图 1：两段逐字对话（gemma\-3\-27b\-it、MMLU）。(a) 一致错误同伴将正确答案变为错误答案。(b) 一致正确同伴将错误答案变为正确答案。

最近的两项研究确立了语言模型中的这一现象，并提出了首批缓解措施 (Zhu等,2025 (https://arxiv.org/html/2608.11247#bib.bib1); Weng等,2025 (https://arxiv.org/html/2608.11247#bib.bib18))。我们复现了两项研究的结果，并测试了所有能降低对错误同伴从众行为的缓解措施。从众只是模型遇到同伴时发生的一半情况。一个从不让步的模型永远不会采纳错误答案，但它也永远不会接受正确答案。图1 (https://arxiv.org/html/2608.11247#S1.F1)b 展示了从众率所遗漏的东西：一个模型单独作答时会答错、但当同伴一致同意正确答案时又会改正的问题。在一个旨在让智能体互相捕捉错误的系统中，失去这种纠正本身就是一种代价。我们测量*接受性*——模型在最初犯错后接受正确答案同伴答案的比率，与*抵抗性*——模型在错误同伴压力下保持正确答案的比率并列。本文中的每种方法都在这两个维度上打分。从两个维度评分会把一个方法放在一个平面上而不是一条线上，而这个平面结果几乎是一维的。我们测试的全部六种方法在所有数据集上、在合并平均值中、以及几乎所有单独取出的模型内部，都落在同一条向下倾斜的线上。一个面对全体一致群体的模型只有自己的答案和同伴的答案可资利用，因此指令可以改变它倾向于两者中的哪一个，但不能让这种倾向具有选择性：偏向自己的答案就会同时拒绝错误的同伴和正确的同伴。这条线对 Anchored Reconsideration 的约束力与对先前方法的约束力一样强——尽管我们专门编写 Anchored Reconsideration 就是为了避免固定的倾向。有一种条件打破了这一模式，但存在局限。一个被要求在作答前*推理*的模型获得第三种输入：一种与同伴无关、且它自己可以检验的推导过程。在 MMLU 中这个模型池能可靠推导出答案的科目上，推理是唯一能同时提高两个指标的干预措施。在推导不可靠的地方，如 GPQA 和 SimpleQA，它的表现与其他方法无异。第二个轴、六种已开发方法共享的前沿线、以及一种方法在该线上方凸起的条件，正是本文的贡献。

## 2 相关工作

两项研究确立了语言模型会从众于同伴模型，并提出了首批缓解措施。Zhu 等人 (2025 (https://arxiv.org/html/2608.11247#bib.bib1)) 改编了 Asch 范式，引入了 Devil's Advocate 和 Question Distillation；Weng 等人 (2025 (https://arxiv.org/html/2608.11247#bib.bib18)) 引入了 BenchForm，以及 Empowered Persona 和 Reflection。Baltaji 等人 (2024 (https://arxiv.org/html/2608.11247#bib.bib10)) 在实时的多智能体协作中观察到同样的让步现象：智能体在同伴压力下从众，并失去对指定角色的把握——这与我们所测试的基于角色的缓解措施直接相关。这三项研究都没有追问当同伴正确时缓解措施会付出什么代价。我们的开放权重池同时针对正确和错误的同伴对每种方法进行评分。

这两个结果的一半最初都是在人类被试中建立的。Asch 表明，一个一致的多数意见会使被试放弃正确判断 (Asch,1951 (https://arxiv.org/html/2608.11247#bib.bib2))。Allen 和 Levine (1969 (https://arxiv.org/html/2608.11247#bib.bib4)) 证明，打破一致性本身并不是解放被试的原因：一个给出与被试相同答案的搭档在所有测试项目类型上都降低了从众率，而一个更极端的异议者只在某些类型上降低了从众率。Sperber 等人 (2010 (https://arxiv.org/html/2608.11247#bib.bib5)) 提供了代价方面的论证，认为依赖沟通的智能体不能通过普遍变得更难被动摇来保护自己，因为阻止错误信息的封闭机制同样会阻止值得学习的信息。Willis (1965 (https://arxiv.org/html/2608.11247#bib.bib6)) 为这其中的含义命名了两种反应：根据每个同伴主张本身的优劣来判断（独立性）和拒绝移动（反从众）。对于只呈现错误同伴的研究来说，这种区别是不可见的，因为这两种反应之间的差异仅仅在于当群体正确时它们会怎么做——这正是我们的设计新增的情况。

即使模型的答案是正确的，它们也会屈服于人类权威 (Sharma等,2023 (https://arxiv.org/html/2608.11247#bib.bib11); Perez等,2023 (https://arxiv.org/html/2608.11247#bib.bib22))，而有针对性的训练数据可以降低这种逢迎 (Wei等,2023 (https://arxiv.org/html/2608.11247#bib.bib12))。那种压力来自人类而非同伴，而且坚持己见的代价同样没有被测量。

多智能体辩论研究提出了一个相关问题：共同推理的模型是否优于独自推理的单个模型，并且通常假设同伴是善意争论的 (Du等,2024 (https://arxiv.org/html/2608.11247#bib.bib13); Liang等,2024 (https://arxiv.org/html/2608.11247#bib.bib14))。Khan 等人 (2024 (https://arxiv.org/html/2608.11247#bib.bib9)) 发现，非专家裁判在听取专家辩手的辩论后会更准确，尤其是当辩手被优化为更具说服力时——这种提升依赖于裁判愿意被说服，而一旦这种意愿被压制，提升便消失。我们的结果支持这一担忧，因为同伴一致意见本身并不包含关于真理的信息。一个参数化知识与上下文中信息不一致的模型必须决定信任哪一方 (Longpre等,2021 (https://arxiv.org/html/2608.11247#bib.bib15); Xie等,2024 (https://arxiv.org/html/2608.11247#bib.bib16))，并且它依据相关性而非人类会使用的可信度标记来权衡上下文 (Wan等,2024 (https://arxiv.org/html/2608.11247#bib.bib8))。同伴从众是同一决策的社会化形式——冲突由其他智能体而非文档来执行。

逐步推理能提高那些允许推导的任务的准确率 (Wei等,2022 (https://arxiv.org/html/2608.11247#bib.bib21))，并且与同伴无关；但 Turpin 等人 (2023 (https://arxiv.org/html/2608.11247#bib.bib7)) 表明，一个被暗示的答案可以引导思维链而不出现在其中。只有正确的推导才能算作证据，而这正是推理能同时改善两个轴的限制条件。我们补充了这一文献所遗漏的代价维度，并在一个足够广的模型池上进行测量，以将能力与规模分离开来。

## 3 “抵抗–接受”前沿

阻止模型跟随错误的同伴，也会阻止它跟随正确的同伴，因此一种缓解措施必须在两种情况下都进行评分。这两个分数来自由基线通过构建的池：在基线中，每个模型单独回答每个问题。它答对的问题构成其*抵抗池*，答错的问题构成其*采纳池*，因此变化是相对于模型孤立答案来测量的，这与该领域的标准做法一致 (Zhu等,2025 (https://arxiv.org/html/2608.11247#bib.bib1))。在抵抗池中，同伴们一致断言一个错误答案，我们记录抵抗性——模型保持正确答案的问题占比，以及从众性——模型采纳同伴答案的问题占比。这两者并非完全互补，因为模型有时会落到第三个答案上或放弃作答，这些情况占池子的 2–9%，我们将其单独汇报。在采纳池中，同伴一致断言正确答案，接受性则是模型切换到正确答案的问题占比。每种方法在“接受性对抵抗性”平面上占据一个点。落在同一条向下倾斜直线上的方法，彼此之间的差异仅仅在于用一种数量换取另一种数量的多少。我们称这条线为*抵抗–接受前沿*，它的存在改变了一种缓解措施必须通过的检验标准。线上的每一个点都是通过放弃接受性来降低从众性的，因此从众性的降低本身并不是方法有所改善的证据，问题变成了一个方法是否能上升到这条线之上。上升到线之上需要新的信息，而不是新的措辞。

我们测试的条件分为两类，其中只有一类能提供这种信息。*快照*（snap）条件要求立即给出承诺性答案，因此它只能重新加权模型先前答案与同伴断言之间的权重；而*深思*（deliberative）条件要求先进行推导，因此增加了一个新的输入。重新加权应该使方法沿着前沿滑动，而与正确性相关的证据则应该使它脱离这条线——并且只在模型确实能够产生这种证据的地方生效。这是结果所要检验的两个预测：一个针对五种快照方法，另一个针对深思条件。

## 4 实验设置

#### 模型。
我们的池包含来自 19 个家族的 23 个开放权重、指令微调模型，列于附录A (https://arxiv.org/html/2608.11247#A1)。总参数量从 14B 到 70B 不等，激活参数量从 2.4B 到 70B 不等。该池涵盖三种架构类型：12 个密集模型、9 个混合专家模型和 2 个混合状态空间模型，发布时间在 2023 到 2026 年之间。模型在单台 GB10 工作站上通过 vLLM 以温度 0 逐个提供。凡模型暴露了思考模式，我们在所有快照条件中都将其禁用，以使承诺性答案成为单一的 token。深思条件在第5.4节 (https://arxiv.org/html/2608.11247#S5.SS4) 中单独处理。

#### 数据。
三个数据集覆盖了三种作答场景，因此没有任何发现建立在单一格式或难度区间之上。MMLU 提供 14,042 道广识多选题 (Hendrycks等,2021 (https://arxiv.org/html/2608.11247#bib.bib17))，GPQA\-Main 提供 427 道硬科学多选题 (Rein等,2024 (https://arxiv.org/html/2608.11247#bib.bib19))，SimpleQA 提供 4,326 道自由形式事实回忆题 (Wei等,2024 (https://arxiv.org/html/2608.11247#bib.bib20))。在多选题集中，错误的同伴答案是由问题 ID 的 md5 哈希决定的固定选项，这使其均匀分布在各个选项之间。同一个哈希还用于打乱 GPQA 的选项顺序，因此正确字母永远不会处于固定位置。多选题通过精确字母匹配进行评分。对于 SimpleQA，我们使用 GPT\-4o\-mini (OpenAI, 2024 (https://arxiv.org/html/2608.11247#bib.bib44))——一个不在受测模型池中的模型——为每个问题生成一个貌似合理但错误的答案，并由一个中立裁判——本地 Llama\-3\.3\-70B\-Instruct (Meta, 2024 (https://arxiv.org/html/2608.11247#bib.bib43))——进行评分。

#### 条件。
每个模型和数据集都经过相同的 19 种条件，列于附录B (https://arxiv.org/html/2608.11247#A2)。其中 7 种各运行一次：一个无同伴基线、五个递增的同伴压力步骤，以及一个接受性探针；其余 12 种是六种缓解措施在两种极性下的运行。一个从众梯度按步骤提高压力：从一个错误同伴，到一个带一名正确异议者的错误多数，再到一个全体一致的错误群体——其断言要么是赤裸的、要么带有简要推理、要么以高确定性表述。一个单独的接受性探针呈现一个全体一致的正确群体。每种缓解措施运行两次：一次针对全体一致的错误群体，一次针对全体一致的正确群体。六种缓解措施中有四种来自已有研究：Devil's Advocate 和 Question Distillation 来自 Zhu 等人 (2025 (https://arxiv.org/html/2608.11247#bib.bib1))，Empowered Persona 和 Reflection 来自 Weng 等人 (2025 (https://arxiv.org/html/2608.11247#bib.bib18))，这四种都是需要立即给出承诺性答案的快照方法。我们新增了两种自己的方法。Anchored Reconsideration 是第五种快照方法，它要求模型基于问题本身的价值作判断，并且只有出于可指名的原因才偏离自己的答案，既不偏向多数意见，也不偏向先前答案。Reasoning\-first 是深思条件，预