MIT 强烈推荐阅读：关于带可验证奖励的强化学习（RLVR），大家都在热议。RLVR 只优化可客观评分的内容，导致风格、结构和多样性悄然崩溃，奖励破解也乘虚而入。本文的解决方案增加了一个基于人类演示训练的对抗性判别器，作为人类输出分布的学习代理。生成器同时最大化任务准确率和判别器给出的人类相似度信号，从而将可验证奖励与对人类行为的模仿联合优化。这为什么重要？在代码修复、故事生成和一个奖励破解基准测试中，该方法在保持 RLVR 准确率提升的同时，恢复了它通常破坏的模糊特性：代码修复的编辑距离大幅降低，故事胜率更高且保持多样性，模型不良行为几乎消失。
论文：https://arxiv.org/abs/2607.01181
在我们的学院学习如何构建有效的人工智能代理：https://academy.dair.ai

正确的方式做正确的事：使用可验证奖励和人类演示训练语言模型

来源：https://arxiv.org/html/2607.01181
Mehul Damani, Isha Puri, Idan Shenfeld, Jacob Andreas
MIT 电气工程与计算机科学系

摘要

带可验证奖励的强化学习已成为在代码生成和数学推理等具有明确成功指标的任務上训练语言模型的有效范式。然而，当前的 RLVR 方法仅优化可客观评分的内容，往往忽略了人类输出中主观、不可验证的方面，如风格和结构。这一局限性导致了多种众所周知的失败模式，如多样性崩塌、响应不自然以及奖励破解。我们提出了一种对抗式生成器-判别器框架，用从人类演示中学到的信号来增强可验证奖励。生成器通过强化学习训练，最大化任务准确率和从判别器获得的对抗奖励。判别器与生成器策略联合训练，学习区分人类编写的输出与模型生成的输出。判别器作为人类输出分布的学习代理，为那些难以形式化为标量奖励的生成方面提供反馈。在包括代码修复和开放型生成在内的多个领域，我们的方法在保持 RLVR 准确率提升的同时，持续改进了不可验证的属性。在代码修复任务中，与 RLVR 基线相比，我们的方法生成的解决方案编辑距离显著更低，同时最终性能相当。在故事生成任务中，我们的方法显著提高了胜率，生成的故事更加多样且更像人类所写。在一个简单的奖励破解基准测试中，我们的方法几乎消除了模型的不良行为，同时保持了高分。这些结果共同表明，我们的方法弥合了强化学习与监督微调之间的差距，为联合优化任务的可验证和不可验证属性提供了一条可扩展的路径。

1 引言

近年来，通过带可验证奖励的强化学习塑造语言模型行为取得了显著进展。通过将优化建立在可计算的信号上（例如，数学问题正确答案、代码生成的单元测试通过率等），使用 RLVR 训练的模型在性能上远超使用监督微调的模型。然而，可验证的正确性只捕捉了输出高质量的一部分因素。我们在代码、故事或解释中寻找的品质并非总是可测量的——一个用正确但难以识别的实现替换整个函数的错误修复可能通过了所有测试，但最终对程序员的价值很低。一个满足所有语法规则的故事可能无法捕捉人类写作的多样化风格特征。

可验证与有价值之间的差距正是当前 RLVR 方法不足的地方。在本文中，我们探讨如何在不放弃 RLVR 有效性的前提下，为生成的不可验证维度优化语言模型。挑战在于，我们关心的许多品质——包括代码可读性、解释清晰度、风格连贯性——没有可对照的 ground truth 参考，也无法用单一的标量捕捉。然而，人类生成的文本在许多样本中一致地表现出这些品质。先前在对抗性模仿学习方面的工作 [Ho and Ermon, 2016 (https://arxiv.org/html/2607.01181#bib.bib24)] 表明，匹配专家行为可以为手动奖励设计提供替代方案。我们在此基础之上，将生成对抗训练与 RLVR 统一起来。在 VARL（Verifiable and Adversarial Reinforcement Learning，可验证与对抗性强化学习）中，模型不仅被训练以满足客观的正确性约束，还被训练以产生符合人类编写响应分布的输出。这使得用户能够通过演示指定所需的“软”属性，同时保持 RLVR 的性能优势——在某些情况下，甚至能产生具有超人类性能的类人策略。

具体来说，我们的方法协同训练两个模型：一个生成器，根据提示生成文本；一个判别器，预测给定的生成结果是人类还是生成器产生的。由于判别器与生成器不断重新训练，它为匹配演示提供了自适应的奖励。生成器使用 RL 进行训练，奖励是解决方案获得的可验证奖励与判别器认为该解决方案是人类生成的概率的乘积。例如，一个错误修复不仅必须通过单元测试，还必须看起来像人类开发者可能实际编写的补丁。换句话说，验证确保输出是正确的；判别器则推动它以正确的方式正确。与许多现有的对抗训练方法一样，该方法还有一个额外的好处，即鼓励生成输出与人类输出之间的特征匹配。因为语言模型生成的解决方案中“异常频繁”出现的特征可以被判别器利用，RLVR 中常见的模式坍塌现象会得到明确惩罚。

在多个领域，VARL 在匹配 RLVR 准确率提升的同时，显著改善了 RLVR 忽略或损害的那些不可验证属性。

1. 在代码修复中，VARL 将准确率从 50% 提升到 65%，同时保持了人类修复的最小编辑结构，而 RLVR 倾向于整体重写函数。
2. 在开放型故事生成中，VARL 将对人类故事的胜率从 2% 提升到 22%，同时生成的故事比 RLVR 更加多样和像人类所写。
3. 在 countdown-code（一个具有故意缺陷的验证器的数值推理任务）中，VARL 将真实任务准确率从 20% 提升到 60%，且几乎没有奖励破解，而 RLVR 则坍缩为一种退化的（奖励破解）解决方案。

这些结果共同表明，对抗性协同训练是优化任务可验证和不可验证属性的一条实用途径。

2 VARL: 可验证与对抗性强化学习

图 1: VARL 联合训练策略和判别器，其中判别器学习区分策略输出与人类演示，而策略则同时针对基于验证器的正确性和类人生成进行优化。这种协同训练使 VARL 能够像 RLVR 一样保持准确性，同时与人类响应保持更紧密的对齐。

2.1 背景

考虑一个提示-响应对的数据集 D = {(xᵢ, yᵢ*)}，其中响应来自一个演示分布 ρ(·|x)。令 π_θ(y|x) 表示语言模型策略。我们的目标是训练语言模型生成既高质量又像人类的响应。

监督微调 (SFT) 直接最大化演示响应的对数似然：
max_θ E_{(x,y)~D}[log π_θ(y|x)]. (1)
然而，当 ρ 和 π 相距较远时，该目标可能产生匹配训练分布表面特征而泛化能力差的策略 [Chu et al., 2025 (https://arxiv.org/html/2607.01181#bib.bib5)]。

带可验证奖励的强化学习 (RLVR) 则最大化模型输出的期望正确性，通常通过评估生成的解 y 是否与 ground truth 解 y* 在某个等价关系 ≡ 下等价（该等价关系一般可能比精确字符串匹配更宽松，例如生成的代码 y 是否通过了与 y* 相同的测试，生成的数学分步求解是否产生相同最终结果等）：
max_θ E_{(x,y*)~D, y~π_θ(·|x)}[1_{y≡y*}]. (2)

图 2: RLVR 通过重写代码来修复错误，而 VARL 则学习局部化的类人编辑。
RLVR 精确指定了成功的“什么”，但对于“如何”实现却未加说明。作为一个具体例子，考虑修复有错误的人类代码（图 2 (https://arxiv.org/html/2607.01181#S2.F2)）。RLVR 生成的补丁能通过单元测试，但往往从头重写代码。SFT 生成最小化的、类人的补丁，但不能可靠地产生正确的修复。RLVR 和 SFT 以互补的方式失败：RLVR 优化正确性但忽略类人结构，而 SFT 模仿类人结构但不优化正确性。

在许多场景中，我们既可以获得可验证奖励，也可以获得演示。这些信号通常是互补的。既然同时拥有可验证奖励和演示，我们如何从两者中学习，以便策略既提升任务性能，又与演示中存在的理想类人属性对齐？形式上，这引出了两个期望。首先，策略应最大化给定的可验证奖励，如公式 (2) 所示。其次，策略的响应分布应保持接近演示分布，最小化：
E_{x~D}[Δ(π_θ(·|x), ρ(·|x))], (3)
其中 Δ 是响应分布之间的距离或散度。下一节，我们将描述一个同时实现这两个目标的目标函数。

2.2 从演示到奖励

RLVR 已经是实现第一个期望（公式 (2)）的有效方法。剩下的问题是如何建模（并最终最小化）Δ(π_θ(·|x), ρ(·|x))，特别是当我们只有 ρ(·|x) 的样本而无法访问完整分布时。为此，我们遵循生成对抗训练框架 [Ho and Ermon, 2016 (https://arxiv.org/html/2607.01181#bib.bib24)]，将策略与一个判别器 D_η(z,x) 协同训练，该判别器区分演示与策略生成的输出。然后，目标策略 π 因产生既通过验证器又欺骗判别器的输出而获得奖励。

使用原始文本训练判别器可能有问题，因为它对要匹配的属性控制力很弱。判别器可能学会关注模型与人类输出之间的任何统计差异，如冗长度、词汇选择甚至格式习惯。这会破坏策略学习的稳定性，并推动模型进行表面匹配而非匹配任务相关属性。为了能更精细地控制应模仿的人类数据的属性，我们定义一个特征映射 φ: Y → Z，提取任务相关特征（例如代码修复中编辑的形状，或故事生成中叙事弧的摘要），并训练判别器在这个特征空间中区分演示与策略输出。形式上，我们旨在匹配诱导分布：
ρ(z|x) = ∑{y: φ(y)=z} ρ(y|x) 且 π(z|x) = ∑{y: φ(y)=z} π(y|x)

判别器使用标准的二元交叉熵训练：
max_η E_{z~ρ(z|x)}[log D_η(z,x)] + E_{z~π_θ(z|x)}[log(1 - D_η(z,x))]. (4)

我们使用 GRPO [Shao et al., 2024 (https://arxiv.org/html/2607.01181#bib.bib35)] 训练策略，采用一个结合正确性与判别器信号的门控奖励：
R_VARL(x,y,y*) = 1_{y≡y*} · g(D_η(z,x)), (5)
其中 g 将判别器输出映射为标量奖励。

策略目标函数最大化该奖励，同时对参考策略 π_0 应用 KL 正则化：
max_θ E_{x~D, y~π_θ}[R_VARL(x,y,y*)] - β KL(π_θ(·|x) ∥ π_0(·|x)). (6)
如果 π_0 也源自人类任务演示，则该正则项也可视为鼓励学习策略的类人性。但正如我们将看到的，这种正则化与 VARL 主奖励的效果非常不同，且在促进多样性和与人类演示的结构相似性方面通常效果较差。还要注意，乘法奖励使分布匹配服从于正确性：判别器信号仅在输出正确时影响奖励。这也意味着判别器只需在正确的策略输出上训练，因为其分数仅在验证器通过的输出上影响策略目标。最后，由于门控奖励天然优先考虑正确性，它不需要额外的权重系数——而这是加法组合多个奖励项时通常需要的。

2.3 散度的选择

标量变换 g 决定了我们希望模型分布 π 匹配演示分布 ρ 的具体方式。特别地，我们观察到：

命题 1. VARL 的期望奖励可分解为：

E_{y~π}[1_{y≡y*}·g(D(φ(y),x))] = α(π) · A_g(π,ρ),
其中 A_g(π,ρ) := ∑z π(z|x) g(D(z,x)), (7)
且 α(π) := p(1{y≡y*} | x) 对于 y~π(·|x) 是策略的通过率。由于 1_{y≡y*}=0 在不正确的输出上，只有正确的输出有贡献；由于 g(D*) 仅通过 z=φ(y) 依赖于 y，剩余期望分解为 α(π) 和在特征空间上的求和。

命题 2. 对于最优判别器 D*，泛函