Agon：竞争性跨模型强化学习与隐式对手推理评分

# 基于隐式对手评分的竞争性跨模型强化学习推理

来源：https://arxiv.org/html/2607.07690

###### 摘要

基于可验证奖励的强化学习（例如 GRPO）是当今推理模型的驱动力，但它仅对最终答案进行评分。在难题上，这会训练模型写更多内容，而非进行更好的思考，因为推理过程本身从未被评分，且不存在关于“良好思考”的标签。我们提出了 Agon，它让两个相互竞争的模型互为评分者。两个模型都尝试解决同一个问题；在交替的角色中，一个模型起草解决方案，另一个模型在解题的同时阅读该方案，每个模型都因比对手解决得更好而获得奖励。为了获胜，一个模型必须比一个看过其工作的对手推理得更好，因此在训练过程中，推理能力被隐式评判，无需过程标签，也无需奖励模型。由于两个模型都在优化，每个模型都面临一个逐渐变强的对手，这是单模型 RL 无法提供的。两个模型只需要实力相当且行为不同。在推理时，这对模型像训练时一样部署，即一个两级级联，其中一个模型起草，另一个模型在阅读草案后作答。在 DeepMath 的困难子集上，使用 Qwen3，该方法将 GRPO 的 pass@1 翻倍，大约是未经训练的 Mixture-of-Agents 基于相同基础模型提升量的八倍。该结果在竞赛编程代码和不同模型系列（Qwen3.5、Gemma 4）中得到了复现。目前，模型通过文本进行交流；下一步是让它们在潜在空间中共同推理。

## 1 引言

零样本 GRPO MoA 合作 Agon 0 20 40 60 80 20 23 30 34 34 46 46 61 61 DeepMath-hard pass@1 (%)

图 1：从答案评分到对手评分。在一个困难数学的预留测试集上，普通 GRPO 仅将 Qwen3 模型相对于零样本提升有限，而一个未经训练的 Mixture-of-Agents 过程（MoA，无训练），即两个模型在*推理时*进行交叉精炼，也仅带来小幅提升。以竞争方式训练相同的双模型设置（Agon），在相同的双次推理预算下（表 3 (https://arxiv.org/html/2607.07690#S5.T3)），其 pass@1 达到了大约 GRPO 的 2 倍和未经训练 MoA 的 1.8 倍。中间消融实验结果见第 5 节 (https://arxiv.org/html/2607.07690#S5)。

基于可验证奖励的强化学习已成为在数学和代码等任务上提升大语言模型 (LLMs) 推理能力的标准工具 (Guo et al., 2025 (https://arxiv.org/html/2607.07690#bib.bib1); Shao et al., 2024 (https://arxiv.org/html/2607.07690#bib.bib2))。主流方法是基于当前策略且基于结果的：从当前策略中采样一组 rollout，根据每个 rollout 的*最终答案*是否正确来评分，并使用组相对优势进行更新，如 GRPO (Shao et al., 2024 (https://arxiv.org/html/2607.07690#bib.bib2))。奖励与答案绑定；产生答案的思维链从未被评分。在模型已经能部分解决的问题上，这并无大碍，但在难题上，这会产生强烈的动机去写更多内容：更长的链条提供了更多机会碰巧找到正确答案，因此增加文本是提高预期回报最廉价的方式。推理过程充斥着模棱两可和回溯（“嗯”、“等等”、“让我重新考虑”），准确率的增长远慢于长度（准确率仅适度提升，而长度却增加了一个数量级 (Aggarwal & Welleck, 2025 (https://arxiv.org/html/2607.07690#bib.bib9))）。模型最终在每个问题上产出了更多推理内容，但每个 token 的推理质量并未提高。

显而易见的修复方案——直接对推理过程评分——是难以实现的。不存在“良好思考”的客观真值：没有标签能指出哪一步是洞见，哪一步是填充；学习型过程奖励模型昂贵、脆弱，且本身也是不可验证的 (Lightman et al., 2023 (https://arxiv.org/html/2607.07690#bib.bib10))。因此，推理过程仍然得不到评分，长度病态问题持续存在。

相反，我们提出的问题是：*第二个模型能否提供缺失的信号？* 如果一个不同的策略尝试解决同一个问题，并且我们奖励每个模型*比对方推理得更好*，那么推理过程就会被对手隐式地评分，无需任何过程标签。导致胜利的步骤得到强化；被对手利用的填充内容则会受到惩罚。评分者必须是*不同的*模型，并且游戏必须是*竞争的*。通过构造，训练后 RL 是自我改进的：策略在其自身生成的信号上进行优化，这强化了导致其错误的盲点：自我审核的模型往往会陷入平台期 (Huang et al., 2024 (https://arxiv.org/html/2607.07690#bib.bib11))。一个具有不同失败模式的第二个模型打破了这种闭环。但仅仅*拥有*两个模型是不够的。简单的平均或让模型达成一致（如 self-consistency 和 mixture-of-agents (Wang et al., 2023 (https://arxiv.org/html/2607.07690#bib.bib12), 2024 (https://arxiv.org/html/2607.07690#bib.bib13))）倾向于回归共识，当模型实力不同时可能会*稀释*质量 (Li et al., 2025 (https://arxiv.org/html/2607.07690#bib.bib14))，而两个几乎相同的模型则彼此获益甚微。有效的组合是一对实力相当且被假设具有不同盲点的模型，置于竞争压力之下：每个模型不仅要解决问题，还要击败一个能看到其工作成果的对手，因此目标函数奖励的是比对手推理得更好，而非与之达成一致。在这种压力下，这对模型共同改进：每一次胜利都为另一方在下一步提高了门槛，最终两个模型都超过了单个自我评分策略的平台期。

我们将此机制实现为 Agon（希腊语 *agōn*，竞赛）。两个不同的策略进行正面交锋：一个*起草者*产生候选解决方案；一个*挑战者*阅读对手的完整解决方案，并因正确解题*且*击败对手而获得奖励；角色在每个步骤中轮换，因此两个模型都学习两种角色。在推理时，这对模型以相同方式部署，一个模型起草，另一个模型在阅读草案后作答。原则上，该方法适用于任何一对实力相当的模型；为了效率，我们将这对模型实现为两个低秩适配器（基于一个冻结的基础模型，内存开销约 ~2%，而非 2x），通过不同的初始化和更新流保持其差异性。在本工作中，交互以文本形式进行：我们首先确认跨模型信号是有用的，然后再优化信道（潜在空间交换；第 6 节 (https://arxiv.org/html/2607.07690#S6)）。

我们在匹配的生成预算下测试两个主张：跨模型信息交换能提高准确率（*交换主张*），以及对抗压力比合作能带来更大的提升（*竞争主张*）。我们使用一个 2x2 的设计，交叉竞争与交换（其中一格在组相对归一化下被证明是无效的；第 4.4 节 (https://arxiv.org/html/2607.07690#S4.SS4)），再加上一个单模型自我精炼对照、一个零训练编排对照，以及一个预算匹配的 GRPO 自我级联对照。

#### 贡献。

- • 我们将*推理质量重新定义为一种隐式奖励*，可以由一个竞争的同伴模型提供，将无标签的“良好思考”问题转化为一个在 RL 期间进行的正面交锋游戏（第 4 节 (https://arxiv.org/html/2607.07690#S4)）。
- • 我们提出了 Agon：一种*联合训练两个不同策略*相互对抗的方案，使用竞争性 GRPO，通过起草-挑战式 rollout、每步角色轮换和竞争性奖励（正确性加上击败对手的转化奖励）。它在标准 GRPO 训练器上运行，无需更改优化核心；共享基础的双适配器实现使得这对模型几乎与单个模型一样廉价（第 4 节 (https://arxiv.org/html/2607.07690#S4)）。
- • 我们构建了一个 2x2 矩阵（竞争 × 信息交换），并包含自我精炼和零训练对照（第 5 节 (https://arxiv.org/html/2607.07690#S5)）。其中一格，即无交换的竞争，在组相对归一化下被证明是无效的（第 4.4 节 (https://arxiv.org/html/2607.07690#S4.SS4)），因此竞争主张的成立依赖于对抗 vs 合作的比较；完全隔离的格子（每 rollout 隐藏草案）留待未来工作。
- • 在困难数学的匹配生成预算下，竞争+交换在 pass@1 上击败了合作、自我精炼和普通 GRPO，且在最小模型上增益最大。在相同的双倍推理预算下，经过训练的级联几乎将未经训练的 Mixture-of-Agents 过程（基于相同基础模型）的准确率翻倍，而 Mixture-of-Agents 本身相比 GRPO 几乎没有提升。

## 2 相关工作

#### 仅基于结果的 RL 与长度病态。
GRPO (Shao et al., 2024 (https://arxiv.org/html/2607.07690#bib.bib2)) 和 R1 方案 (Guo et al., 2025 (https://arxiv.org/html/2607.07690#bib.bib1)) 仅奖励经过验证的最终答案。一个记录在案的副作用是推理过程长度的不受控增长（“过度思考”），准确率的增长远慢于 token 数 (Aggarwal & Welleck, 2025 (https://arxiv.org/html/2607.07690#bib.bib9); Chen et al., 2024a (https://arxiv.org/html/2607.07690#bib.bib15))。补救措施针对的是症状：显式长度惩罚或长度受控目标 (Aggarwal & Welleck, 2025 (https://arxiv.org/html/2607.07690#bib.bib9))，以及丢弃退化全正确/全错误组的动态采样 (Yu et al., 2025 (https://arxiv.org/html/2607.07690#bib.bib16))。没有一个方法对推理过程的*内容*进行评分，因为步骤级标签不存在，学习型过程奖励模型成本高昂且本身无法验证 (Lightman et al., 2023 (https://arxiv.org/html/2607.07690#bib.bib10))。Agon 保持验证器不变，而是从竞争的同伴那里获取内容信号。

#### 自我对弈与自我改进。
模型可以通过与自身版本对弈来改进：SPIN (Chen et al., 2024b (https://arxiv.org/html/2607.07690#bib.bib17)) 将当前策略与其自身的过去生成进行对弈；Self-Rewarding LMs (Yuan et al., 2024 (https://arxiv.org/html/2607.07690#bib.bib18)) 使用模型作为自身的评判者；而自我对弈推理器如 Absolute Zero (Zhao et al., 2025 (https://arxiv.org/html/2607.07690#bib.bib19)) 和 R-Zero (Huang et al., 2025 (https://arxiv.org/html/2607.07690#bib.bib20)) 共同演进由一个模型实例化的提议者和求解者。这些方法很强大，但共享一个结构性天花板：在其自身信号上优化的策略会强化导致其错误的盲点，并且没有外部反馈的自我纠正并不可靠 (Huang et al., 2024 (https://arxiv.org/html/2607.07690#bib.bib11))。Agon 的不同之处在于训练*两个不同的*策略，具有不同的初始化和更新流，因此评分者是一个真正不同的智能体，而非被评分者的副本。多智能体微调 (Subramaniam et al., 2025 (https://arxiv.org/html/2607.07690#bib.bib27)) 也通过不同的数据流从一个基础模型多样化为多个模型，但其目标是合作集成；Agon 为了*对抗性评分*而保持差异性，其中不同的对手正是提供奖励的机制。

#### 多模型协作、辩论与集成。
组合多个模型（self-consistency (Wang et al., 2023 (https://arxiv.org/html/2607.07690#bib.bib12))、多智能体辩论 (Du et al., 2023 (https://arxiv.org/html/2607.07690#bib.bib21)) 和 Mixture-of-Agents (Wang et al., 2024 (https://arxiv.org/html/2607.07690#bib.bib13))）可以提高鲁棒性，但聚合是*合作性的*：它推动达成共识，当成员实力不同时会稀释质量 (Li et al., 2025 (https://arxiv.org/html/2607.07690#bib.bib14))，并且当成员几乎相同时收效甚微。这些是在冻结模型上的推理时过程。Agon 则在*RL 期间*应用跨模型压力并使其具有竞争性：模型因比一个看过其工作的对手解决得更好而获得奖励，因此目标函数奖励的是击败对手，而非匹配对手。我们仅使用合作变体作为消融实验来隔离竞争的价值，并包含一个双智能体 MoA 层作为零训练对照；它大约恢复了 Agon 相对于 GRPO 增益的八分之一（表 3 (https://arxiv.org/html/2607.07690#S5.T3)）。在精神上最接近的是上下文内自我精炼 (Madaan et al., 2023 (https://arxiv.org/html/2607.07690#bib.bib22))，其中模型修改其*自身*的草案；Agon 的不同之处在于草案来自一个*竞争的、不同的*同伴，并且是根据 RL 下的结果选择的，而非根据自我反馈。

#### 对抗性训练与生成器-验证器训练。
判别器/验证器信号长期以来塑造了生成器，从 GANs (Goodfellow et al., 2014 (https://arxiv.org/html/2607.07690#bib.bib24)) 到提高 LLM 解决方案可读性的验证者-验证者游戏 (prover-verifier games) (Kirchner et al., 2024 (https://arxiv.org/html/2607.07690#bib.bib26))，以及针对语言的对抗性游戏 (Cheng et al., 2024 (https://arxiv.org/html/2607.07690#bib.bib23))。辩论 (Irving et al., 2018 (https://arxiv.org/html/2607.07690#bib.bib25)) 首先将两个智能体之间的评判比赛作为监督推理本身的可扩展代理。Agon 是对称且轮换的，而非角色固定的：两个模型在起草和挑战之间交替，因此没有一个退化为纯粹的批评者，并且两者都作为求解者得到改进；评判者是客观真实验证器，而非学习型或人类验证器。最终从文本到潜在空间交换的转变与表示空间中的模型间通信工作有关 (Beliaev, 2025 (https://arxiv.org/html/2607.07690#bib.bib29))，这留待未来工作。

## 3 预备知识：GRPO 与未评分的推理过程

对于一个问题 \(x\) 及其验证器 \(r(x, y) \in \{0, 1\}\)（仅检查完成 \(y = (\text{trace}, \text{answer})\) 的最终答案），GRPO (Shao et al., 2024 (https://arxiv.org/html/2607.07690#bib.bib2)) 采样一组 G 个 rollout \(y_1, \dots, y_G \sim \pi_\theta(\cdot \mid x)\)，并形成组相对优势：
\[
A_i = \frac{r(x, y_i) - \mu}{\sigma}, \quad \mu = \frac{1}{G}\sum_j r(x, y_j), \quad \sigma = \mathrm{std}_j r(x, y_j),
\]
(1)
更新 \(\pi_\theta\) 以提高高于平均水平的 rollout 的对数概率，为简洁起见，此处省略了通常对参考模型（即基础模型）的 KL 正则化；奖励方差为零的组（全正确或全错误，其中 \(\sigma=0\)）不携带信号，会被丢弃。该信号完全是*答案*的函数：两个具有相同答案的完成获得相同的优势，无论它们如何推理。

#### 未评分的推理过程。
在难题上，每个问题的求解率 \(\mathbb{E}_{y \sim \pi_\theta}[r(x, y)]\) 很低，策略通过增加单次推理过程中不同尝试的数量来最廉价地提高预期回报：每一次重新开始、情况分支或“让我重新考虑”都是另一次碰答案的机会。由于推理过程从未被评分，这种填充不会被惩罚，实际上通过任何包含它的正确 rollout 而被强化。结果是经验观察到的长度增长远快于准确率的状况 (Aggarwal & Welleck, 2025 (https://arxiv.org/html/2607.07690#bib.bib9); Chen et al., 2024a (https://arxiv.org/html/2607.07690#bib.bib15))；在我们自己的运行中，GRPO 训练将平均推理过程从零样本的 6.1k 增长到 8.1k tokens，仅换来 +7pp 的准确率（表 3 (https://arxiv.org/html/2607.07690#S5.T3)）。策略增加了推理的数量，而其密度（即每 token 的有用信号）却停滞不前。因此，瓶颈不在于数量。当前普遍存在的