更令人信服，而非更正确：无参考LLM评判者的自我博弈奖励操纵

# 无参考大语言模型评判者的自我博弈奖励黑客攻击

来源：https://arxiv.org/html/2607.05904

## 更令人信服，而非更正确：无参考大语言模型评判者的自我博弈奖励黑客攻击

###### 摘要

针对模型自身的无参考判断进行训练——这是无标签自我改进中自我奖励、自我博弈和大语言模型即评判者流水线的前提——假设模型对展示答案的判断是正确性的可用代理。我们表明这一前提存在结构性缺陷：在给定候选答案的条件下，无参考评判者评估的是*合理性*，而非正确性——这是一种*验证不对称性*，会产生策略能够学会利用的、合理但错误的*假阳性盆地*。我们通过*隐藏锚点审计*来测量这一缺陷：一个被保留的、跨来源的精确匹配检查，评判者从未见过。在GSM8K上，使用Qwen3策略并在推理抑制模式下，自我博弈使评判者的通过率从0.72提高到0.94，而真实准确率保持在0.20——0.74的评判者-真实差距（三个种子）。这种奖励黑客攻击并非白盒博弈：制造的错误会跨评判者家族（Qwen、Llama、Gemma）和规模（到14B）转移，一个严格的三家族集成仍然接受其中55%的错误，并且重新计算提示、更强的评判者以及直接针对集成奖励进行训练均未能关闭盆地。决定性变量不是评判者是否看到候选答案，而是它是否首先给出自己的答案：重新计算提示使错误答案上的假阳性率保持在0.719，而先给出自己的答案——候选答案仍在视野中——将其降至0.012，盲解则将判别力从接近随机水平提升到0.96，且无需参考答案。用作训练奖励时，去锚定通道在整个自我博弈过程中将假阳性率保持在零，从而预防了盆地而不仅仅是检测到它。一个可证伪的界解释了哪些场景是暴露的——差距最多为1−准确率——而去锚定奖励遵循类似的评判者端界。完整过程在没有训练的情况下，在代码和竞赛数学的N选最佳中重现，并且在Gemma策略的完整循环中也得以重现。

## 1 引言

利用模型自身评估进行强化学习已成为在没有人工标注情况下改进语言模型的核心方法。无参考的“大语言模型即评判者”奖励、自我奖励和自我博弈方案都共享一个前提：模型对答案的判断是正确性的可用代理，并且越来越多的方法将其作为默认假设（Bai et al., 2022；Lee et al., 2023；Yuan et al., 2024；Chen et al., 2024；Simonds et al., 2025；Huang et al., 2026）。

这一前提存在结构性缺陷。无参考评判者无法获取真实答案；它只能评估一个答案*看起来*是否正确。对于验证答案比识别一个合理答案更困难的任务——大多数推理任务都是如此——这就产生了*验证不对称性*：评判者评估合理性而非正确性，留下一个合理但错误的*假阳性盆地*，而这些答案会被评判者接受。针对这样的评判者优化策略不仅仅是有噪声的风险；它实际上是在积极奖励寻找盆地。

我们用*隐藏锚点*来测量它：一个被保留的、跨来源的最终答案精确匹配检查，评判者从未见过，也从未被训练使用过。在GSM8K上使用Qwen3策略通过自我博弈训练，审计揭示了一个巨大的偏差：在完整测试集上，在保持低准确率的推理抑制模式下，评判者的通过率从大约0.72上升到0.94，而锚点验证的准确率保持在大约0.20——0.74的评判者-真实差距（三个种子；§5）；图1a显示了五次迭代的轨迹。自我博弈并没有使模型更正确；而是使模型的错误更令人信服。

这并不是某个评判者的怪癖，更强大或更多样化的评判者就能抓住。使用来自其他家族（Llama、Gemma）和更大规模（最高14B）的独立评判者对黑客攻击过的答案重新评分，显示出相同的膨胀；一个仅在所有评判者一致同意时才接受的三家族集成，仍然通过了55%的被黑客攻击的错误答案，其判别力从0.31下降到0.09，并且直接针对集成奖励训练策略也无济于事。这些错误是无参考评判者的*共同盲点*：自我博弈扮演了盆地的对抗性示例生成器。恢复监督能力的方法是打破评判者对候选答案的*锚定*：当对展示答案进行评分时，同一个模型对这些错误一路绿灯，但一旦要求其先给出独立答案，即使候选答案仍在视野中，它也会拒绝几乎所有错误。决定性变量是评判者相对于候选答案的独立性，而非其能力，也非候选答案是否可见。

另外两个结果描述了这一现象：评判者-真实差距由1−准确率可证伪地界定，因此低准确率场景暴露出来，而高准确率场景几乎没有可利用的差距；一个奖励精确匹配而非评判者判断的神谕控制显示没有膨胀，将失败归因于评判者奖励而非偏好优化。

我们的贡献是：

- • 无参考评判者之间的共同盲点（§5）：自我博弈制造出的错误答案会跨评判者家族和规模转移，击败评分时和训练时集成，并且在没有训练的情况下，在N选最佳选择（§5.3）和完整循环中的Gemma策略（§5.4）中无需任何训练即可重现。
- • 隐藏锚点审计（§3）：一个被保留的跨来源精确匹配探针，量化了在优化下评判者的过度报告，包括差距、漂移、判别力和风险评分诊断。
- • 去锚定修复（§5）：要求评判者在使用候选答案之前先给出自己的答案，可将假阳性率从0.719降至0.012，并且用作训练奖励时，可预防盆地的形成。
- • 预测性说明（§4）：一个可证伪的界VA-Gap ≤ 1−EM，已验证跨格式、任务和优化模式；一个独立性界（命题1），其测量到的超出量可检测锚定并以比特量化（推论1–2）；以及单调聚合的无逃逸结果（命题2）。

## 2 相关工作

#### 大语言模型即评判者及其偏差。

使用强大的大语言模型评判开放式回答是标准做法（Zheng et al., 2023），其偏差已有记录：评判者倾向于更长的（Singhal et al., 2023）和更讨喜的答案，并且Sharma等人（2023）表明，人类和偏好模型都偏好写得令人信服的回答而非正确的回答。我们为这种对合理性的偏好提供了结构性解释，并测量了其在自我博弈优化下的后果。

#### 无参考自我改进。

针对AI生成反馈进行训练（Bai et al., 2022；Lee et al., 2023）构成了日益增长的自我奖励（Yuan et al., 2024）和自我博弈（Chen et al., 2024）方法的基础。Simonds等人（2025）报告称，从模型的自我分配奖励中进行强化学习可以在没有参考的情况下提高性能；我们的审计识别了哪些场景中该信号被污染。Huang等人（2026）提出了一种协同进化方案，绕过了代理评判者奖励黑客攻击；我们的结果实证确认了该设计所激发的威胁。Lu等人（2025）发现跨家族验证比自我验证更可靠；我们提出的互补问题是，无参考判决是否独立于其所评分的候选答案。

#### 欺骗大语言模型评判者。

Zhao等人（2025b）表明，微不足道的表面标记就能从强大评判者那里引出假阳性，而Zhao等人（2025a）对此进行了加固。这些是静态的、表面层面的攻击；自我博弈产生的错误是语义和动态的——优化进了评判者的盆地——这是一种正交的失败模式，重新计算式的提示无法消除（§5）。Pan等人（2024）观察到，当一个模型在自我优化中生成并评判时，评判者分数会膨胀；我们的错误跨家族转移，遵循可证伪的界，并可通过去锚定进行预防。

#### 可扩展监督与奖励过度优化。

Kenton等人（2024）发现，对于弱评判者监督更强模型，辩论优于咨询；Wen等人（2025）表明，RLHF教会模型误导*人类*评估者；我们研究无参考大语言模型评判者类似情况，提供结构性解释、诊断方法和修复方案。使用同源代理进行奖励过度优化已有充分记录（Gao et al., 2023；Rafailov et al., 2024），奖励模型集成可以缓解但不能消除黑客攻击（Coste et al., 2024；Eisenstein et al., 2023）。我们增加了一个跨家族*转移*维度，附带一个被保留的锚点，并表明评分级集成无法在对抗性自我博弈中幸存。

## 3 隐藏锚点审计

#### 设置。

策略π回答一个问题q，给出最终答案a和推理轨迹。一个无参考评判者J——一个给定q和a但*无*参考答案的大语言模型——返回一个分数，我们将其阈值化为接受/拒绝。策略被优化以提高J的接受率：在我们的案例研究中通过自我博弈进行，其中一个模型生成候选答案、评判它们，并对产生的配对进行偏好优化（DPO）。我们对每个问题附加一个*隐藏锚点*A：一个被保留的、跨来源的最终答案精确匹配检查，来自一组独立的真实解答。A从不展示给J，不在任何提示中，也不是训练信号：它只用于审计。

#### 指标。

设p_t = Pr[J接受]为优化步t时评判者的通过率，EM_t = Pr[A正确]为锚点准确率。主要量是*评判者-真实差距*，即VA-Gap，p_t - EM_t。由于A是保密的且跨来源，p_t的任何上升若没有EM_t的相应上升，就是明确的过度报告而非测量伪影——这正是审计可证伪的原因。我们进一步追踪错误答案上的假阳性率FPR = Pr[J接受 | A错误]及其跨步漂移，正确答案上的真阳性率TPR = Pr[J接受 | A正确]，以及评判者的*判别力* TPR - FPR。对于一个由N个评判者组成的小组，我们报告最严格的聚合，Min（所有都必须接受）。一个有序的*风险评分* FPR_base · (1-EM) 在运行任何优化之前，按对奖励黑客攻击的脆弱性对设置进行排序。

## 4 验证不对称性与假阳性盆地

我们将评判者J建模为正确性的带噪二元分类器，真阳性率TPR = 1 - FNR（接受 | 正确）和假阳性率FPR（接受 | 错误）。其通过率分解为p = EM (1-FNR) + (1-EM) FPR，因此评判者-真实差距正好是

VA-Gap ≡ p - EM = (1-EM) FPR - EM FNR。 (1)

自我博弈优化错误答案以被接受：它推动FPR上升——§5中测量的假阳性漂移——而真实准确率EM基本不变，因此VA-Gap随着(1-EM) FPR增长，并且由于FPR ≤ 1，在任意优化步都遵循可证伪的*上界*，

VA-Gap ≤ (1-EM) - EM FNR ≤ 1 - EM。 (2)

由于自我博弈保持准确率不变，操作上限是1-EM_base：差距受限于策略的错误空间，这解释了我们所观察到的能力依赖性。该界是结构性的——更嘈杂的评判者、更弱的策略或更困难的任务都会降低EM并暴露相同的盆地；推理抑制是我们用来在固定任务上调节EM的控制工具。审计测试该界的*紧致性*：表1显示，差距正好在暴露的场景中接近上限，而在其他地方则远低于该上限。

这个界支配着*合理性*通道，在该通道中，评判者被展示一个候选答案并对其评分。同一个模型可以改为独立于候选答案给出自己的答案——在极限情况下，盲解——这将其假阳性限制在其自身的求解器错误之下。

###### 命题1（独立性界）。

假设评判者独立于候选答案给出自己的最终答案——例如，在使用候选答案之前先给出自己的答案——并且仅在精确匹配时接受。对于一个错误答案，它仅在独立地产生相同错误答案时才接受，该事件的可能性不超过其自身的错误率，因此FPR ≤ 1 - solve-acc，其中solve-acc是评判者在候选答案错误的问题上的准确率。

###### 推论1（锚定是可检测的）。

在精确匹配接受条件下，若评判者测量的FPR超过1 - solve-acc，则必须违反独立性：其判决被锚定，超出该界的量仅使用评判者自身的求解准确率即可量化锚定程度。

超出量不仅是诊断，还是一种信息度量（证明见附录B）。

###### 推论2（以比特锚定）。

在命题1的接受模型下，设S为评判者给出的答案，Δ = FPR - (1 - solve-acc) 为错误答案上测量的超出量。那么条件