Introducing RLVP，惩罚路径，奖励结果：这是我与华盛顿大学 Noah Shi 合作的一篇论文，于昨天在 ArXiv 上发表。

大多数面向智能体的强化学习仅奖励最终结果。但在现实世界中行动——打电话、处理工单——的智能体，即便成功也可能失败：给已拒绝联系的用户打电话、在非工作时间行动、跳过身份验证。

结果奖励对路径视而不见。在 GRPO 风格的组相对强化学习中，优势是组内方差。当所有组都失败（训练初期）以及所有组都成功（训练后期）时，二元结果奖励会导致方差为零。

密集信号仅在提供结果所缺乏的方差时才有帮助。

我们的洞察：许多现实世界的智能体环境是非对称验证器：它们可以廉价地检测错误动作（rm -rf、在前提条件满足前打电话），但无法验证进展。

这个领域一直把验证器用在其最弱的方面。反转思路：惩罚路径，奖励结果。

结果：在任务成功率相同的情况下，约束违规几乎为零，而纯结果训练在几乎每次交互中都违反规则。在 TerminalBench 上，在成功率匹配的情况下，破坏性动作减少了约 6 倍，并且智能体发出了更多、而非更少的生产性命令。

相同的可验证通道，用于为可验证的进展付费，就变成了密集的势函数，将死亡的全失败 rollout 转化为有用的梯度，并提高样本效率。但它受可达性限制：只有在实际发生部分进展的地方（定理证明、软件修复）才有帮助。

一个陷阱：仅惩罚会导致不作为：最优策略是什么都不做。所以我们需要两方面：惩罚路径，奖励结果。

论文：https://arxiv.org/abs/2607.07435 代码：https://github.com/19PINE-AI/rlvp 网站：https://01.me/research/rlvp

RLVP：惩罚路径，奖励结果

来源：https://arxiv.org/html/2607.07435

摘要

代表我们在现实世界中行动的智能体——拨打电话、处理支持工单——必须从昂贵且通常是不可逆的交互中在线学习，而不是依靠廉价的模拟器步骤。这带来了两个结果。首先，可部署性取决于路径，而不仅仅是结果。智能体必须遵守结果无关的约束，例如不反复给不回复的用户打电话、遵守营业时间、或完成所需的身份验证——这些约束是结果导向的奖励无法表达的，因为违反它们往往会提高表面上的成功率。其次，因为每次交互都很昂贵，智能体必须从非常少的样本中高效学习。

基于可验证奖励的强化学习（RLVR）对这两个挑战都视而不见：它仅根据结果进行优化，并且在所有组都失败的 rollout 中浪费昂贵的交互，因为此时组相对优势降为零。试图通过奖励进展来使监督信号变稠密的方向是难以验证的。相比之下，现实世界的智能体环境可以廉价地检测出错误动作。既然组相对优势等价于组内方差，那么稠密信号只有在提供结果所缺乏的方差时才有帮助。一个可验证的路径惩罚能可靠地满足这个条件，而一个进展势函数只在部分进展可达的情况下才有帮助。由此产生的方案——惩罚路径，奖励结果——在实现高任务成功率的同时，违规行为几乎为零，而纯结果训练在几乎每次交互中都违反约束。我们提供了有效惩罚的四个设计规则，包括避免仅使用惩罚时出现的不作为陷阱。

参见图注 图 1：两种用于从昂贵、真实的 rollout 中学习的智能体的可验证路径信号。 (a) 惩罚路径：在奖励结果的同时惩罚路径，使无违规的回合从接近零提升到约 ≈100%——这是纯结果 GRPO 无法察觉且永远无法达到的可部署性约束——且不影响任务成功率（§3 (https://arxiv.org/html/2607.07435#S3)）。 (b) 在可达处奖励进展：稠密势函数比纯结果训练在更少的昂贵 rollout 中达到熟练水平（§4 (https://arxiv.org/html/2607.07435#S4)）。 均值取自多个随机种子；带状区域为 ±1 标准差。

1 引言

考虑一个代表真实世界中个人行动的智能体：它打电话给银行，导航语音菜单，等候接通，最后与客服代表交谈以解决账单纠纷。每一个动作都是真实的、通常是不可逆的交互——是真实的通话，而不是可以重放数百万次的可重置模拟器步骤。一个快速增长的可部署智能体类别正是在这种高风险模式下运行（Pine AI，2026b (https://arxiv.org/html/2607.07435#bib.bib47)）。与塑造了当今基础模型的可逆、自包含环境（数学题、编程基准、模拟游戏）不同，这些智能体必须应对部分可观测性、不可逆后果、长反馈延迟以及对外部世界状态的真实不确定性。这种模式与目前用于训练模型的、可逆的高吞吐量环境有两个根本不同。

首先，可部署性取决于智能体所走的路径，而不仅仅是结果。成功解决是必要但不充分的。一个通过给已明确拒绝联系的用户打电话、在非营业时间打电话、或绕过银行所需身份验证步骤来达到正确结果的智能体是不可部署的——无论最终结果多么有利。基于结果的奖励无法表达这些约束：违反它们往往会提高表面上的成功率，因为走捷径和违反规则在短期内往往会加速解决问题。因此，一个可部署的智能体必须同时满足结果和路径的约束。

其次，这些智能体必须从其自身的实时交互中在线学习，并且必须从非常少的例子中学习。在数学和编程基准中，廉价的模拟器允许策略生成数百万次 rollout，使得样本效率成为次要问题——缓慢的学习可以通过简单地运行更多试验来弥补。在现实世界中，一次通话不能重放。一个从一次交互中得知某家银行需要客户的出生日期和账号后四位的智能体，必须立即将这些知识推广到下一位用户。在这里，样本效率不仅仅是优化问题；它决定了一个系统是能随着时间的推移有意义地改进，还是根本无法部署。

基于可验证奖励的强化学习（RLVR）（DeepSeek-AI，2025 (https://arxiv.org/html/2607.07435#bib.bib1)；Lambert et al.，2024 (https://arxiv.org/html/2607.07435#bib.bib23)）从根本上对这两个挑战都视而不见。它仅根据环境可以廉价评估的唯一信号——最终结果——进行优化，使得路径完全不可见。这种方法还将最昂贵的交互浪费在所有轨迹都失败的组中，此时组相对优势为零，没有学习发生。自然的反应是通过奖励进展来寻求更稠密的奖励（Lightman et al.，2024 (https://arxiv.org/html/2607.07435#bib.bib20)；Wang et al.，2024 (https://arxiv.org/html/2607.07435#bib.bib27)；Setlur et al.，2025 (https://arxiv.org/html/2607.07435#bib.bib28)；Yu 等人，2024 (https://arxiv.org/html/2607.07435#bib.bib6)；Feng 等人，2025 (https://arxiv.org/html/2607.07435#bib.bib5)）。然而，在智能体环境中，判断进展正是智能体必须解决的难题。这要么导致一个最终被策略欺骗的学习到的评论家（Cheng 等人，2025 (https://arxiv.org/html/2607.07435#bib.bib31)；Kazemnejad 等人，2024 (https://arxiv.org/html/2607.07435#bib.bib32)；Gao et al.，2023 (https://arxiv.org/html/2607.07435#bib.bib29)），要么导致脆弱的、手工制作的代理信号。

现实世界的智能体环境是非对称验证器：它们可以廉价且可靠地检测出错误动作（例如，在前置条件满足前打电话或在非营业时间行动），但无法验证智能体是否在取得有意义的进展。因此，它们提供的可靠稠密信号是对路径的惩罚，而不是对进展的奖励。与普遍看法相反，惩罚本身并非固有地有问题；常见的不作为崩溃是一个连接错误，而非不可避免。单独的惩罚确实会失败——它的最优策略是什么都不做，陷入不作为陷阱。然而，当与结果奖励配对时——奖励期望的结果，惩罚禁止的路径——惩罚有效地教会了部署所需的那些与结果无关的约束，利用了环境中的可验证方面。

参见图注 图 2：为什么路径通道能在结果无法提供梯度时创建梯度。同一个 bug 修复任务的四个 rollout，全部未能通过隐藏测试（每个轨迹的结果都是 0）。左（纯结果）：所有四个 rollout 获得相同的奖励，等于组均值。优势处处为零，因此策略更新是无效的。右（带有可验证路径通道）：这些相同的 rollout 获得了不同的路径分数——运行测试或取得可测量进展给予奖励 +β，执行破坏性命令或编辑测试文件则给予惩罚 −λ。这创造了组内方差，即使在 0% 任务成功率下也能产生有意义的梯度。

相同的非对称性还有另一个有用的方面。当环境确实可以验证一个进展步骤——例如前置条件已满足、子目标已达成——这个信号可以作为稠密势函数来使原本稀疏的结果奖励变稠密。这在训练初期所有组都失败、白白浪费 rollout 的情况下尤其有价值。一个单一原则支撑着这两种机制：组相对优势简单地就是组内方差。纯结果信号在两端都失效——在训练初期所有组都失败时方差为零，在训练后期所有组都成功时方差也为零。稠密辅助信号只在以下情况下有用：它能提供结果所缺乏的方差，并且仅在策略实际可以到达的状态中有用。可验证惩罚通过构造满足了这一条件：错误动作总是可检测的。相比之下，进展势函数受可达性限制——只有在策略开始进入可能取得部分成功的状态时才有帮助。惩罚是解决方案中普遍可用的一半；势函数是有条件的一半。图 1 (https://arxiv.org/html/2607.07435#S0.F1) 预先展示了这两点。我们在一系列可作为目标部署环境易于处理替代的任务上验证了这些想法，包括系统管理、客户服务任务、shell 基准测试、定理证明器和软件修复。所声称的转移是机制性的：预期在实际生产流量中适用的是相同的原则，而不是相同的数值结果。

贡献。

• • 一个组内方差视角，解释稠密信号何时在组相对智能体强化学习中起作用。稠密信号恰好在其提供结果奖励所缺乏的、可达的组内方差时有用（§2 (https://arxiv.org/html/2607.07435#S2)）。这个观点是对称的——纯结果强化学习在训练初期的全失败组和训练后期的全成功组都失效，如图 2 (https://arxiv.org/html/2607.07435#S1.F2) 所示——并且统一了可验证路径通道的两种互补用途：对错误动作的惩罚和对已验证进展的奖励。
• • 惩罚路径（§3 (https://arxiv.org/html/2607.07435#S3)）。我们引入了一个基于动作的可验证惩罚，与结果奖励结合，并遵循四个设计原则（包括缓解不作为陷阱）。这种方法可靠地教会了与结果无关的部署约束。在一个真实基准测试中，它在相同成功率下将有害动作减少了近六倍，使违规率从几乎每个回合都违规降低到接近零。
• • 奖励已验证的进展（§4 (https://arxiv.org/html/2607.07435#S4)）。使用相同的可验证通道用于奖励而非惩罚，将其转变为稠密势函数。这直接解决了在线学习中的样本效率问题：它将死亡的全失败更新转化为有用的梯度，只要部分进展是可实现的，同时在不可实现的情况下保持惰性。

参见图注 图 3：纯结果强化学习在成功率的两端都失效。组相对优势等于组内方差。二元结果信号在训练初期的全失败组和训练后期的全成功组都将方差驱动为零。稠密过程信号仅在其在这些情况下提供方差时才有用——并且仅在策略实际可以到达的状态中有用。可验证惩罚可靠地提供这种信号（错误动作容易检测），而稠密进展势函数则不然（在困难任务中部分成功很少见）。

2 可验证路径通道

组相对强化学习。

现代智能体强化学习已经基本上摆脱了学习价值函数。相反，它通过比较从相同提示或任务采样的一个组内的轨迹来估计优势（Shao et al.，2024 (https://arxiv.org/html/2607.07435#bib.bib2)；DeepSeek-AI，2025 (https://arxiv.org/html/2607.07435#bib.bib1)）。对于给定的提示，该方法采样一组 G 个轨迹，为每个轨迹分配一个奖励，并将其优势计算为该轨迹相对于组均值的偏差（通常除以组标准差）。没有独立的评论家：同一组中的其他轨迹作为基线。这种设计正是可验证结果奖励如此有效的原因——一个规则或测试套件可以直接对轨迹进行评分——并且它构成了本文所开发的所有技术的基础。

优势是组内方差。

由于基线是组均值，一个轨迹只有在它的奖励与组内其他轨迹不同时才对梯度有贡献。当所有 rollout 获得相同的奖励时，每个优势都为零，该组不会产生策略更新。对于二元结果奖励，这种退化发生在两种主要情况下（图 3 (https://arxiv.org/html/2607.07435#S1.F3)）：全失败组，在长时域任务训练的早期很常见；以及全成功组，在任务接近解决时很常见。因此，组相对强化学习在成功率的两端都失效。社区只部分地解决了这个问题，方法是丢弃这些组而不是赋予它们学习信号——例如，DAPO 会丢弃那些全部正确或全部错误的提示（Yu et al.，2025 (https://arxiv.org/html/2607.07435#bib.bib3)）。

稠密信号何时有帮助。

稠密过程信号恰好在其恢复结果信号所失去的组内方差时有用。考虑一个轨迹的塑形奖励形式为结果加上 β 乘以一个过程项，R = O + βΦ。组的奖励方差——驱动策略梯度的量——则分解为

Var_G(R) = Var_G(O) + β² Var_G(Φ) + 2β Cov_G(O, Φ). (1)

在全失败或全成功组中，Var_G(O) = 0。因此，所有可用的梯度必须来自过程项自身的组内方差 Var_G(Φ)（图 2 (https://arxiv.org/html/2607.07435#S1.F2)）。这产生了一个简单、可验证的条件：过程信号仅在它产生非零组内方差时才有帮助，而这仅发生在策略在组内不同的轨迹中达到不同的中间状态时。由于环境可以廉价地检测错误动作（例如，rm -rf、在未满足前置条件时发送电子邮件、跳过确认步骤），一个基于动作的惩罚几乎总是会产生有效的方差。相比之下，进展信号（例如，$已接近解 x%？）产生方差的范围要有限得多：它仅在状态空间中存在一个部分可达的进展概念的区域内才有效；在策略仅产生完整成功或完整失败（在困难任务的早期通常是这种情况）的区域中，进展势函数的方差为零——与结果信号相同。

因此，可验证路径通道提供了两种互补的利用方式：作为惩罚，用于教导与结果无关的部署约束，其方差保证在任何可检测错误动作存在时可用；以及作为进展势函数，用于稠密结果信号，其方差仅在部分成功可实现的区域中可用。这两种用途共享相同的数学基础——组内方差——但具有不同的适用性。惩罚是一种在任何智能体环境中都能可靠提供信号的通用通道；势函数是一种在特定情况下有用的专业通道。接下来的两节分别检验了每一种用途。介绍 RLVP，惩罚路径，奖励结果：这是我和华盛顿大学的 Noah Shi 合作的一篇论文，昨天发表在 ArXiv 上。

大多数面向智能体的强化学习只奖励最终结果。但那些在现实世界中行动——打电话、解决工单——的智能体，即使成功了也可能失败：给拒接电话的用户打电话、在工作时间之外行动、跳过身份验证。

结果奖励对路径视而不见。在 GRPO 风格的组相对强化学习中，优势就是组内方差。二元结果奖励会在全失败组（训练早期）和全成功组（训练后期）中导致零方差。

稠密信号只有在能提供结果所缺乏的方差时才有帮助。

我们的见解：许多现实世界的智能体环境是非对称验证器：它们可以廉价地检测出不好的动作（比如 rm -rf，在前提条件满足之前打电话），但无法验证进展。

这个领域一直在把验证器用在其最薄弱的方向上。反过来想：惩罚路径，奖励结果。

结果：在同等任务成功率下，约束违规几乎为零，而纯结果训练几乎在每个回合都会违规。在 TerminalBench 上，在成功率匹配的情况下，破坏性动作减少了约 6 倍，而且智能体发出了更多、而不是更少的生产性命令。

同样的可验证通道，如果用来为可验证的进展支付报酬，就会变成一个稠密的势函数，把毫无生气的全失败 rollout 变成有用的梯度，并提高样本效率。但它是受可达性约束的：它只在部分进展实际发生的地方（定理证明、软件修复）才有帮助。

一个陷阱：如果只有惩罚，就会变成不作为：最优策略是什么都不做。所以我们需要两个方面：惩罚路径，奖励结果。

论文：https://arxiv.org/abs/2607.07435 代码：https://github.com/19PINE-AI/rlvp 网站：https://01.me/research/rlvp

RLVP：惩罚路径，奖励结果

来源：https://arxiv.org/html/2607.07435

摘要

代表我们在现实世界中行动的智能体——拨打电话、解决支持工单——必须从昂贵、通常是不可逆的交互中在线学习，而不是依赖廉价的模拟器步骤。这导致两个结果。首先，可部署性取决于路径，而不仅仅是结果。智能体必须遵守与结果无关的约束，例如不反复给无回应的用户打电话、遵守营业时间、或完成必要的身份验证——这些约束是基于结果的奖励无法表达的，因为违反它们往往会提高表面上的成功率。其次，由于每次交互都很昂贵，智能体必须从非常少的例子中高效学习。

基于可验证奖励的强化学习（RLVR）对这两个挑战都视而不见：它只根据结果进行优化，并把昂贵的 rollout 浪费在那些组相对优势降为零的全失败组上。试图通过奖励进展来稠密化监督信号的努力，瞄准的是难以验证的方向。相比之下，现实世界的智能体环境可以廉价地检测出不良动作。由于组相对优势等价于组内方差，稠密信号只有在它提供结果所缺乏的方差时才有帮助。一个可验证的路径惩罚能可靠地满足这个条件，而一个进展势函数只有在部分进展可达的情况下才有帮助。由此得出的方案——惩罚路径，奖励结果——在实现高任务成功率的同时，违规行为几乎为零，而纯结果训练在几乎每个回合都违反约束。我们提供了有效惩罚的四个设计规则，包括避免单独使用惩罚时出现的不作为陷阱。

参见图注 图 1：两种用于从昂贵、真实的 rollout 中学习的智能体的可验证路径信号。 (a) 惩罚路径：在奖励结果的同时惩罚路径，使无违规的回合从接近零提升到约 ≈100%——这是纯结果 GRPO 无法察觉且永远无法达到的可部署性约束——并且不影响任务成功率（§3 (https://arxiv.org/html/2607.07435#S3)）。 (b) 在可达处奖励进展：稠密势函数比纯结果训练用更少的昂贵 rollout 达到熟练水平（§4 (https://arxiv.org/html/2607.07435#S4)）。 平均值取自多个随机种子；带状区域为 ±1 标准差。

1 引言

考虑一个代表真实世界中某个人行动的智能体：它给银行打电话，浏览自动语音菜单，在等待接通时保持等待，最终与客服代表交谈以解决账单纠纷。每一个动作都是一个真实的、往往不可逆的交互——一个真正的电话，而不是一个可以重放数百万次的可重置模拟器步骤。一个快速增长的可部署智能体类别就在这种高风险模式下运行（Pine AI，2026b (https://arxiv.org/html/2607.07435#bib.bib47)）。与塑造了当今基础模型的可逆、自包含环境（数学问题、编程基准、模拟游戏）不同，这些智能体必须应对部分可观测性、不可逆后果、长反馈延迟以及对外部世界状态的真实不确定性。这种模式与目前用于训练模型的、可逆的高吞吐量环境有两个根本不同之处。

首先，可部署性取决于智能体所走的路径，而不仅仅是结果。成功解决是必要但不充分的。一个通过给已明确拒绝联系的用户打电话、在非营业时间打电话或绕过银行所需身份验证步骤而达到正确结果的智能体是不可部署的——无论最终结果多么有利。基于结果的奖励无法表达这些约束：违反它们往往会提高表面上的成功率，因为走捷径和违反规则在短期内往往会加速解决。因此，一个可部署的智能体必须同时满足结果和路径的约束。

其次，这些智能体必须从其自身的实时交互中在线学习，并且必须从非常少的例子中学习。在数学和编程基准测试中，廉价的模拟器允许策略生成数百万次 rollout，使得样本效率成为次要问题——缓慢的学习可以通过简单地运行更多试验来弥补。在现实世界中，一次电话通话不能重放。一个从一次交互中得知某家银行需要客户的出生日期和账号后四位的智能体，必须立即将这些知识推广到下一位用户。在这里，样本效率不仅仅是优化问题；它决定了一个系统是能随着时间的推移有意义地改进，还是根本无法部署。

基于可验证奖励的强化学习（RLVR）（DeepSeek-AI，2025 (https://arxiv.org/html/2607.07435#bib.bib1)；Lambert et al.，2024 (https://arxiv.org/html/2607.07435#bib.bib23)）从根本上对这两个挑战都视而不见。它只根据环境可以廉价评估的唯一信号——最终结果——进行优化，使路径完全不可见。这种方法还将最昂贵的交互浪费在所有轨迹都失败的组中，此时组相对优势为零，没有学习发生。自然的反应是通过奖励进展来寻求更稠密的奖励（Lightman et al.，2024 (https://arxiv.org/html/2607.07435#bib.bib20)；Wang et al.，2024 (https://arxiv.org/html/2607.07435#bib.bib27)；Setlur et al.，2025 (https://arxiv.org/html/2607.07435#bib.bib28)；Yu 等人，2024 (https://arxiv.org/html/2607.07435#bib.bib6)；Feng 等人，2025 (https://arxiv.org/html/2607.07435#bib.bib5)）。然而，在智能体环境中，判断进展正是智能体必须解决的难题。这要么导致一个最终被策略欺骗的学习到的评论家（Cheng 等人，2025 (https://arxiv.org/html/2607.07435#bib.bib31)；Kazemnejad 等人，2024 (https://arxiv.org/html/2607.07435#bib.bib32)；Gao et al.，2023 (https://arxiv.org/html/2607.07435#bib.bib29)），要么导致脆弱的、手工制作的代理信号。

现实世界的智能体环境是非对称验证器：它们可以廉价且可靠地检测出错误动作（例如，在前置条件满足前打电话或在非营业时间行动），但无法验证智能体是否在取得有意义的进展。因此，它们提供的可靠稠密信号是对路径的惩罚，而不是对进展的奖励。与普遍看法相反，惩罚本身并非固有地有问题；常见的不作为崩溃是一个连接错误，而非不可避免。单独的惩罚确实会失败——它的最优策略是什么都不做，陷入不作为陷阱。然而，当与结果奖励配对时——奖励期望的结果，惩罚禁止的路径——惩罚有效地教会了部署所需的那些与结果无关的约束，利用了环境中的可验证方面。

参见图注 图 2：为什么路径通道能在结果无法提供梯度时创建梯度。同一个 bug 修复任务的四个 rollout，全部未能通过隐藏测试（每个轨迹的结果都是 0）。左（纯结果）：所有四个 rollout 获得相同的奖励，等于组均值。优势处处为零，因此策略更新是无效的。右（带有可验证路径通道）：这些相同的 rollout 获得了不同的路径分数——运行测试或取得可测量进展给予奖励 +β，执行破坏性命令或编辑测试文件则给予惩罚 −λ。这创造了组内方差，即使在 0% 任务成功率下也能产生有意义的梯度。

相同的非对称性还有另一个有用的方面。当环境确实可以验证一个进展步骤——例如前置条件已满足、子目标已达成——这个信号可以作为稠密势函数来使原本稀疏的结果奖励变稠密。这在训练初期所有组都失败、白白浪费 rollout 的情况下尤其有价值。一个单一原则支撑着这两种机制：组相对优势简单地就是组内方差。纯结果信号在两端都失效——在训练初期所有组都失败时方差为零，在训练后期所有组都成功时方差也为零。稠密辅助信号只在以下情况下有用：它能提供结果所缺乏的方差，并且仅在策略实际可以到达的状态中有用。可验证惩罚通过构造满足了这一条件：错误动作总是可检测的。相比之下，进展势函数受可达性限制——只有在策略开始进入可能取得部分成功的状态时才有帮助。惩罚是解决方案中普遍可用的一半；势函数是有条件的一半。图 1 (https://arxiv.org/html/2607.07435#S0.F1) 预先展示了这两点。我们在一系列可作为目标部署环境易于处理替代的任务上验证了这些想法，包括系统管理、客户服务任务、shell 基准测试、定理证明器和软件修复。所声称的转移是机制性的：预期在实际生产流量中适用的是相同的原则，而不是相同的数值结果。

贡献。

• • 一个组内方差视角，解释稠密信号何时在组相对智能体强化学习中起作用。稠密信号恰好在其提供结果奖励所缺乏的、可达的组内方差时有用（§2 (https://arxiv.org/html/2607.07435#S2)）。这个观点是对称的——纯结果强化学习在训练初期的全失败组和训练后期的全成功组都失效，如图 2 (https://arxiv.org/html/2607.07435#S1.F2) 所示——并且统一了可验证路径通道的两种互补用途：对错误动作的惩罚和对已验证进展的奖励。
• • 惩罚路径（§3 (https://arxiv.org/html/2607.07435#S3)）。我们引入了一个基于动作的可验证惩罚，与结果奖励结合，并遵循四个设计原则（包括缓解不作为陷阱）。这种方法可靠地教会了与结果无关的部署约束。在一个真实基准测试中，它在相同成功率下将有害动作减少了近六倍，使违规率从几乎每个回合都违规降低到接近零。
• • 奖励已验证的进展（§4 (https://arxiv.org/html/2607.07435#S4)）。使用相同的可验证通道用于奖励而非惩罚，将其转变为稠密势函数。这直接解决了在线学习中的样本效率问题：它将死亡的全失败更新转化为有用的梯度，只要部分进展是可实现的，同时在不可实现的情况下保持惰性。

参见图注 图 3：纯结果强化学习在成功率的两端都失效。组相对优势等于组内方差。二元结果信号在训练初期的全失败组和训练后期的全成功组都将方差驱动为零。稠密过程信号仅在其在这些情况下提供方差时才有用——并且仅在策略实际可以到达的状态中有用。可验证惩罚可靠地提供这种信号（错误动作容易检测），而稠密进展势函数则不然（在困难任务中部分成功很少见）。

2 可验证路径通道

组相对强化学习。

现代智能体强化学习已经基本上摆脱了学习价值函数。相反，它通过比较从相同提示或任务采样的一个组内的轨迹来估计优势（Shao et al.，2024 (https://arxiv.org/html/2607.07435#bib.bib2)；DeepSeek-AI，2025 (https://arxiv.org/html/2607.07435#bib.bib1)）。对于给定的提示，该方法采样一组 G 个轨迹，为每个轨迹分配一个奖励，并将其优势计算为该轨迹相对于组均值的偏差（通常除以组标准差）。没有独立的评论家：同一组中的其他轨迹作为基线。这种设计正是可验证结果奖励如此有效的原因——一个规则或测试套件可以直接对轨迹进行评分——并且它构成了本文所开发的所有技术的基础。

优势是组内方差。

由于基线是组均值，一个轨迹只有在它的奖励与组内其他轨迹不同时才对梯度有贡献。当所有 rollout 获得相同的奖励时，每个优势都为零，该组不会产生策略更新。对于二元结果奖励，这种退化发生在两种主要情况下（图 3 (https://arxiv.org/html/2607.07435#S1.F3)）：全失败组，在长时域任务训练的早期很常见；以及全成功组，在任务接近解决时很常见。因此，组相对强化学习在成功率的两端都失效。社区只部分地解决了这个问题，方法是丢弃这些组而不是赋予它们学习信号——例如，DAPO 会丢弃那些全部正确或全部错误的提示（Yu et al.，2025 (https://arxiv.org/html/2607.07435#bib.bib3)）。

稠密信号何时有帮助。

稠密过程信号恰好在其恢复结果信号所失去的组内方差时有用。考虑一个轨迹的塑形奖励形式为结果加上 β 乘以一个过程项，R = O + βΦ。组的奖励方差——驱动策略梯度的量——则分解为

Var_G(R) = Var_G(O) + β² Var_G(Φ) + 2β Cov_G(O, Φ). (1)

在全失败或全成功组中，Var_G(O) = 0。因此，所有可用的梯度必须来自过程项自身的组内方差 Var_G(Φ)（图 2 (https://arxiv.org/html/2607.07435#S1.F2)）。这产生了一个简单、可验证的条件：过程信号仅在它产生非零组内方差时才有帮助，而这仅发生在策略在组内不同的轨迹中达到不同的中间状态时。由于环境可以廉价地检测错误动作（例如，rm -rf、在未满足前置条件时发送电子邮件、跳过确认步骤），一个基于动作的惩罚几乎总是会产生有效的方差。相比之下，进展信号（例如，$已接近解 x%？）产生方差的范围要有限得多：它仅在状态空间中存在一个部分可达的进展概念的区域内才有效；在策略仅产生完整成功或完整失败（在困难任务的早期通常是这种情况）的区域中，进展势函数的方差为零——与结果信号相同。

因此，可验证路径通道提供了两种互补的利用方式：作为惩罚，用于教导与结果无关的部署约束，其方差保证在任何可检测错误动作存在时可用；以及作为进展势函数，用于稠密结果信号，其方差仅在部分成功可实现的区域中可用。这两种用途共享相同的数学基础——组内方差——但具有不同的适用性。惩罚是一种在任何智能体环境中都能可靠提供信号的通用通道；势函数是一种在特定情况下有用的专业通道。接下来的两节分别检验了每一种用途。