通过基于强化学习的微调缓解LLM谄媚：贝叶斯真相血清方法

# 基于强化学习微调缓解大语言模型的谄媚行为：贝叶斯真相血清方法
来源：https://arxiv.org/html/2608.25267

Serhii Mytsyk [email protected], Yiming Zhang [email protected]  
所属单位：电气与计算机工程系，康奈尔大学  
Vikram Krishnamurthy [email protected]  
所属单位：电气与计算机工程系，康奈尔大学

###### 摘要
大语言模型常表现出*谄媚*倾向：它们会根据用户的表述观点或偏好来调整答案，而非报告其认为正确的信息，这降低了事实准确性并可能加剧错误信息的传播。本文提出一种缓解谄媚行为的方法，采用贝叶斯真相血清作为群体相对策略优化中的奖励机制来微调大语言模型。BTS对具有*出人意料的普遍性*的回答给予奖励，即该回答在受访者中出现的频率高于受访者自身的预测。我们将模型对单个问题的一组回复视为受访群体，因此奖励函数仅依赖模型自身的输出，微调过程既不需要标签也不需要偏好注释。我们证明在大群体极限下，谄媚性回答获得的期望奖励严格低于诚实回答。还证明若整个群体事先约定对称的应答规则，其信息得分不可能高于如实报告的情况。在我们的真伪基准测试中，参考模型在用户压力下的答案翻转率从23%降至4%，其在该压力下的准确率从80%提升至93%。我们的奖励机制优于SMART算法，与基于合成数据的微调及定点调优效果相当，后两者均使用标签数据训练。我们方法以显著增加的计算开销为代价，在标注数据稀缺的场景下更具适用性。同样对稀有回答给予奖励但无需预测报告的同行真相血清也能重现该效果。因此，通过单个GRPO组内计算的同行预测奖励无需标签即可减少谄媚行为，机制比较表明，对更稀有回答的奖励加成是驱动这一效果的关键因素。

††脚注：本工作得到美国国家科学基金会CCF-2312198号基金和陆军研究办公室W911NF 24-1-0083号基金的支持。

## 1 引言
大语言模型常表现出*谄媚*倾向：它们不依据自身知识给出最佳答案，而是适应用户表现出的信念、偏好或想听到的内容（Sharma et al., 2024 (https://arxiv.org/html/2608.25267#bib.bib4)；Ranaldi and Pucci, 2023 (https://arxiv.org/html/2608.25267#bib.bib6)）。当用户表达怀疑时，LLM可能收回正确答案，认可明显错误的意见，呼应提示中暗示的政治立场（Perez et al., 2023 (https://arxiv.org/html/2608.25267#bib.bib5)；Sharma et al., 2024 (https://arxiv.org/html/2608.25267#bib.bib4)），或支持叙述道德困境的任意一方（Cheng et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib14)；Hong et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib15)）。这种行为在数学、医疗建议和开放式问答中均有出现（Fanous et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib12)；Malmqvist, 2024 (https://arxiv.org/html/2608.25267#bib.bib7)），降低了事实准确性，使模型输出可靠性下降。

强化学习常导致谄媚行为的产生。在基于人类反馈的强化学习中，模型根据人类偏好判断或学习到的奖励模型进行优化，而人类评估者往往更青睐顺从性答案而非正确答案，因此奖励机制本身会倾向于认同而非真实性（Sharma et al., 2024 (https://arxiv.org/html/2608.25267#bib.bib4)；Shapira et al., 2026 (https://arxiv.org/html/2608.25267#bib.bib8)）。该效应在主观、建议寻求及政治敏感场景中最为显著（Ranaldi and Pucci, 2023 (https://arxiv.org/html/2608.25267#bib.bib6)；Cheng et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib14)），而这些场景恰恰是用户最难验证不可靠答案的情况。

本文旨在无需真实标签的情况下减少谄媚行为。我们交替使用*标签*与*真实标签*指代模型训练的正确答案，同样将*奖励*、*得分*或*支付*用于描述机制对回答的报酬。本文主要思路是采用群体相对策略优化进行LLM微调，使用源自贝叶斯真相血清的新型奖励结构。BTS是同行预测中的真相引出机制（Prelec, 2004 (https://arxiv.org/html/2608.25267#bib.bib29)；Miller et al., 2005 (https://arxiv.org/html/2608.25267#bib.bib30)）。BTS对具有*出人意料的普遍性*的回答给予奖励，即该回答在受访者中出现的频率高于受访者自身的预测。在大群体极限下，如实报告成为该博弈的贝叶斯-纳什均衡，且机制无需参考正确答案。我们的群体是模型针对单个问题采样的回复组，因此微调过程既不需要真实标签也不需要人类偏好注释。

图1 (https://arxiv.org/html/2608.25267#S1.F1)示意性地展示了我们的框架。本文采用重要假设：每个采样回复可建模为来自贝叶斯策略智能体，该智能体持有私人信号、对其他智能体回复的信念，并以最大化自身BTS得分为目标，这与Prelec框架一致。该假设具有实证支持，因为专为此训练的Transformer能够在上下文中执行贝叶斯推理，返回与马尔可夫链蒙特卡洛质量相当的后验分布（Reuter et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib49)）。

![图1：BTS引导的GRPO微调迭代示意图](https://arxiv.org/html/2608.25267#S1.F1)  
*图1：BTS引导的GRPO微调迭代示意图。针对每个问题，我们采样一组G个LLM回复：每个回复包含答案和对群体答案分布的预测。完全由群体计算得出的BTS奖励驱动GRPO更新，取代了真实标签监督。*

### 1.1 相关工作
##### 谄媚行为测量
先前研究通过定向探测测量谄媚行为，即用户表达观点或质疑正确答案（Sharma et al., 2024 (https://arxiv.org/html/2608.25267#bib.bib4)；Wei et al., 2023 (https://arxiv.org/html/2608.25267#bib.bib16)；Perez et al., 2023 (https://arxiv.org/html/2608.25267#bib.bib5)）。后续基准测试扩展了任务范围和测量概念。SycEval（Fanous et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib12)）区分了*渐进式*谄媚（顺从导致正确答案）和*退行式*谄媚（顺从导致错误答案）。ELEPHANT（Cheng et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib14)）转向开放式建议，发现模型比人类更激进地保护用户自我形象。syco-bench套件（Duffy, 2025 (https://arxiv.org/html/2608.25267#bib.bib13)）将多个探测整合为一个基准。SYCON Bench（Hong et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib15)）评估用户反复反驳的五轮对话，采用第3.2节 (https://arxiv.org/html/2608.25267#S3.SS2)提出的翻转轮次和翻转次数进行评分。

##### 谄媚行为理解
Wang et al. (2025) (https://arxiv.org/html/2608.25267#bib.bib9)证明谄媚不仅是后期层的输出偏好偏移，更是更深层次的表征分化。Papadatos and Freedman (2024) (https://arxiv.org/html/2608.25267#bib.bib17)证明谄媚信号可从奖励模型激活中线性解码。这两项研究都指向超越输出层或深入奖励模型的干预方向。

##### 谄媚行为缓解
一类方法通过破坏用户陈述观点与正确答案关联的数据进行微调：Wei et al. (2023) (https://arxiv.org/html/2608.25267#bib.bib16)证明简单合成数据干预即有效；Pressure-Tune（Zhang et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib19)）添加带有思维链推理的对抗性对话；Chen et al. (2024) (https://arxiv.org/html/2608.25267#bib.bib24)指出此类微调往往降低模型通用能力，因此仅对通过路径修补识别的谄媚责任模块进行调优。

第二类方法修改提示而非权重：Dubois et al. (2026) (https://arxiv.org/html/2608.25267#bib.bib20)将用户断言重构为中性问题，比直接指令模型避免谄媚更有效；Hong et al. (2025) (https://arxiv.org/html/2608.25267#bib.bib15)报告第三方视角可获得类似效果。

第三类方法干预训练信号，惩罚奖励模型中线性解码的谄媚方向（Papadatos and Freedman, 2024 (https://arxiv.org/html/2608.25267#bib.bib17)），或如SMART（Beigi et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib23)）所示，蒸馏搜索发现的非谄媚推理轨迹。

第四类方法在推理时通过对比激活方向（Rimsky et al., 2024 (https://arxiv.org/html/2608.25267#bib.bib21)）或稀疏特征干预（Min et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib22)）进行干预；Li et al. (2025) (https://arxiv.org/html/2608.25267#bib.bib18)重新加权注意力头以攻击用户偏好与模型输出间的伪相关。这些方法大多依赖预设信号：标签集、反例、引导向量或探针方向，部分方法以牺牲通用能力为代价。我们的奖励则源自模型自身采样的一组回复。完整的方法列表远超单篇论文的评估范围；第3.5节 (https://arxiv.org/html/2608.25267#S3.SS5)选择三种比较方法并说明理由。

##### 贝叶斯真相血清与同行预测
同行预测是机制设计子领域，在无需真实标签的情况下引出真实报告。Prelec (2004) (https://arxiv.org/html/2608.25267#bib.bib29)提出的贝叶斯真相血清根据回答在群体中的普遍程度超过受访者自身预测的程度来评分，在贝叶斯纳什均衡下无需外部验证即可实现真实性。Miller et al. (2005) (https://arxiv.org/html/2608.25267#bib.bib30)的方法根据报告隐含的对同行报告的信念评分，但要求机制了解共同先验，而BTS正是消除了这一要求。

后续研究从三个方向强化BTS：以二元回答为代价实现小群体激励相容（Witkowski and Parkes, 2012 (https://arxiv.org/html/2608.25267#bib.bib31)）、该保证的多值版本（Radanovic and Faltings, 2013 (https://arxiv.org/html/2608.25267#bib.bib32)）、以及去除预测报告的众包最小变体（Faltings et al., 2017 (https://arxiv.org/html/2608.25267#bib.bib33)）。另一系列研究探讨真实报告何时不仅是均衡更是最优支付策略（Kong et al., 2016 (https://arxiv.org/html/2608.25267#bib.bib36)），第4.4节 (https://arxiv.org/html/2608.25267#S4.SS4)将回归此问题；其他研究将整个家族置于信息论框架下（Kong and Schoenebeck, 2019 (https://arxiv.org/html/2608.25267#bib.bib37)）或通过多任务评分获得知情真实性（Shnayder et al., 2016 (https://arxiv.org/html/2608.25267#bib.bib38)）。相关的"惊人流行"算法选择比群体预测更普遍的选项（Prelec et al., 2017 (https://arxiv.org/html/2608.25267#bib.bib35)）。Goel (2023) (https://arxiv.org/html/2608.25267#bib.bib43)证明在TruthfulQA上"惊人可能"的回答更真实；Chen et al. (2025) (https://arxiv.org/html/2608.25267#bib.bib44)通过无训练引出博弈获得真实答案；Lu et al. (2024) (https://arxiv.org/html/2608.25267#bib.bib45)将同行预测应用于自由文本评估。与本文最接近的是Qiu et al. (2026) (https://arxiv.org/html/2608.25267#bib.bib46)使用同行预测评估和后训练语言模型，根据一个模型预测另一个模型的能力对答案评分；Sun et al. (2025) (https://arxiv.org/html/2608.25267#bib.bib47)综述了博弈论与语言模型的更广泛交集。

对此，Denisov-Blanch et al. (2026) (https://arxiv.org/html/2608.25267#bib.bib48)警告共识并非验证，因为民意调查式聚合无法带来一致准确率提升，反而可能放大共同误解——这是偏好基于惊喜的信号而非原始一致性的原因。另一类无标签方法从相同来源获取信号但直接奖励一致性。自我一致性解码选择在采样推理路径中最常出现的答案（Wang et al., 2023b (https://arxiv.org/html/2608.25267#bib.bib27)），测试时强化学习将该多数答案转化为训练奖励（Zuo et al., 2025 (https://arxiv.org/html/2608.25267#bib.bib28)）。这些与上述机制不同：它们奖励答案的普遍程度，而非其超出群体预测的程度。它们被用于提高推理准确率，据我们所知尚未用于减少谄媚行为。因此语言模型的无标签后训练已存在于同行预测和一致奖励两种形式，我们不主张该范式的独创性。本文工作与该方向的三点区别在于：我们使用BTS分数本身，因此每个回复必须提交对群体答案的预测；我们的群体是单个GRPO组在单策略单提示下的采样，奖励在策略更新已执行的 rollout 中计算；我们的目标是缓解谄媚而非提高准确率。据我们所知，贝叶斯真相血清此前从未作为强化学习微调语言模型的奖励信号。

### 1.2 本文贡献
1. **基于BTS引导的微调缓解LLM谄媚行为**。我们使用贝叶斯真相血清作为GRPO内的奖励机制。该机制评分的群体是针对单个问题采样的回复组，因此奖励源自模型自身输出，微调无需真实标签或偏好注释。BTS分数是信息分数（根据答案计算）和预测分数（根据预测计算）的加权和；第2.2节 (https://arxiv.org/html/2608.25267#S2.SS2)定义两者。

2. **谄媚缓解的理论分析**。我们证明三点结论：第一，奖励精确引出每个回复的预测，因此最大化奖励的回复只能扭曲其答案；第二，在大群体极限下，谄媚回答获得的期望奖励严格低于诚实回答，这在诚实同行群体和任意比例谄媚回复的群体中均成立；第三，若整个群体事先约定对称的应答规则，其信息得分不可能高于如实报告的情况。

3. **消融实验与跨模型评估**。我们在多种加