RLVR中的奖励粒度：比较小语言模型数学推理中的过程奖励与结果奖励结构

# RLVR中的奖励粒度：比较小语言模型数学推理中的过程奖励和结果奖励结构

来源：https://arxiv.org/html/2607.02869  
Anagha Radhakrishna Palandye 纽约大学 [email protected] & Rebecca Glick 纽约大学 [email protected] & Osheen Kaul 纽约大学 [email protected]

###### 摘要

可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards, RLVR）已成为提升语言模型数学推理能力的一种有前景的范式。然而，大多数RLVR工作仅奖励最终答案（基于结果的奖励），而忽略了步骤级过程监督（过程奖励）的影响——尤其是对于缺乏在稀疏反馈下自我纠正能力的小型模型。我们系统性地比较了五种奖励条件，这些条件应用于使用组相对策略优化（Group Relative Policy Optimization, GRPO）在GSM8K上微调的Qwen2.5-0.5B：无RL基线、纯过程奖励、纯结果奖励，以及三种混合权重（过程权重 λ∈{0.9, 0.5, 0.1}）。纯过程监督的测试准确率达到63.73%，而纯结果监督为53.75%，差距近10个百分点，同时生成的推理轨迹具有更高的步骤有效性和更小的与真实链长度偏差。混合奖励通常与过程权重正相关，但有一个显著异常：低过程/高结果配置（λ=0.1）的性能低于纯结果监督，这表明存在冲突的优化信号。使用GPT-4o作为裁判的错误分析揭示了不同的失败模式分布：过程模型生成结构不一致但算术基础扎实的轨迹，而结果模型生成简洁但容易产生推导错误的链。我们的结果表明，奖励粒度是RLVR中的首要设计决策，过程级监督显著提高了小语言模型的准确性和轨迹保真度。

---

RLVR中的奖励粒度：比较小语言模型数学推理中的过程奖励和结果奖励结构

Anagha Radhakrishna Palandye 纽约大学 [email protected]  
Rebecca Glick 纽约大学 [email protected]  
Osheen Kaul 纽约大学 [email protected]

## 1 引言

提升语言模型的*推理能力*仍然是一个开放的挑战。即使模型被提示使用思维链（Chain-of-Thought, CoT）指令——Wei等人（2023）证明这种方法能提高透明度和可解释性——小型LLM也经常生成错误、不一致或逻辑上不连贯的中间步骤，即使最终答案正确。这种反复出现的不匹配凸显了现代LLM研究中一个更广泛的问题：

> *数学和符号推理的改进是由推理质量的真正提升驱动的，还是模型只是更擅长采样合理的答案？*

越来越多的研究试图通过可验证奖励的强化学习（RLVR）来解决这个问题，在这种方法中，模型获得的奖励信号来自*机械的正确性检查*，而非人类偏好。RLVR在数学等领域尤其有前景，因为这些领域的解可以自动验证（Wen等人，2025；Tang等人，2025）。GSM8K数据集具有逐步算术推理结构，特别适合评估这类奖励函数。

RLVR中一个核心但尚未充分探索的维度是奖励粒度。奖励可以在过程层面给出，即评估并奖励每个中间步骤；也可以在结果层面给出，即仅奖励最终预测的答案。我们将这些分别称为过程奖励（基于过程的反馈）和结果奖励（基于结果的反馈）。虽然基于结果的奖励在RLHF和RLVR背景下已被广泛研究，但对于过程级、步骤级奖励如何改变模型的推理行为，或者两种类型在组合时如何相互作用，我们知之甚少。这一空白对于小型模型尤为重要，因为它们缺乏内部减轻噪声或不充分监督的能力。

#### 研究问题

*过程奖励能否提高推理轨迹的连贯性和有效性？结合过程奖励和结果奖励是否比单独使用任何一种都能产生更稳定、更准确的推理？*

#### 贡献

我们做出以下贡献。首先，我们提供了五种奖励条件的受控比较，这些条件用于使用GRPO在GSM8K上对Qwen2.5-0.5B进行RLVR微调，包括纯过程、纯结果以及三种混合权重。其次，我们超越了最终答案准确率，通过评估轨迹有效性、链长偏差和一个包含45个分层问题的评估子集上的过程步骤比率。第三，我们进行了LLM作为裁判的错误分析（GPT-4o），描述了每种奖励制度引发的失败模式分布。最后，我们识别出一个混合奖励异常：低过程/高结果配置（λ=0.1）的性能低于纯结果监督，表明存在冲突而非叠加的优化动态。

## 2 背景与相关工作

### 2.1 思维链推理

LLM推理的进展正从监督微调和RLHF风格的偏好模型转向可验证奖励框架，其中当模型的输出由外部工具检查时给予奖励（Wen等人，2025）。Wen等人（2025）表明，纯粹基于最终答案的奖励仍然可以影响推理轨迹，引入了CoT-Pass@K，该指标评估KK条采样思维链中是否有任何一条产生了正确答案*并且*保持了有效的推理轨迹，从而同时衡量答案准确性和轨迹有效性。在此可验证框架的基础上，Tang等人（2025）展示了如何使用Jensen风格的下界来扩展此类可验证奖励，用可处理的代理目标替代对许多采样解的难以处理的期望，该代理目标限制了真实期望奖励的下界。

这些发展与此前更广泛的CoT提示研究相交汇。CoT提示（Wei等人，2023）鼓励模型将问题分解为明确的中间步骤。虽然这带来了更好的可解释性和通常更好的准确性，但后来的研究表明，CoT输出可能具有误导性或结构上不可靠（Turpin等人，2023；Saparov和He，2023）。特别是小型LLM倾向于生成幻觉步骤或无关的解释，在早期犯算术错误并一直延续，以及在步骤之间跳跃而不保持逻辑一致性。这推动了研究转向独立于答案正确性评估推理质量，使用专门的推理指标或LLM作为裁判来评估轨迹完整性。

### 2.2 过程监督 vs. 结果监督

大多数用于推理任务的强化学习方法，包括RLHF，都仅依赖于结果级别的奖励。虽然这提高了最终答案的准确性（Ziegler等人，2020），但它没有提供关于内部推理过程的指导。模型可能会学会利用捷径，例如记忆模式、虚假相关性和与正确推理无关的表面线索。相比之下，Lightman等人（2023）早期探索、并在最近的RLVR工作中扩展的基于过程的监督，在推理链的每个阶段提供密集反馈。这鼓励了显式的增量计算、更忠实的逐步推理以及更牢固的算术运算基础。然而，基于过程的反馈也可能加剧不稳定性，如果没有全局约束，可能会产生过长或不必要的推理链。这突出了RLVR研究中也存在的一个重要主题：监督的粒度塑造了模型推理的连贯性，每种选择在稳定性和推理保真度方面都带有不同的权衡。

### 2.3 可验证奖励的强化学习（RLVR）

RLVR与RLHF的不同之处在于，它允许使用精确的、程序化计算的奖励，而不是依赖人类判断。在数学领域，这些奖励可以通过检查预测解与真实解之间的数值相等性、评估中间算术步骤以及惩罚无效格式或逻辑不一致来直接验证解的质量。

Wei等人（2023）表明，提示逐步推理能提升模型性能，而Uesato等人（2022）比较了基于结果和基于过程的监督在数学应用题上的表现，发现仅结果训练标签效率高，但通常产生“脆弱”的推理，而过程级监督则显著减少了轨迹错误。

最近的RLVR研究报告了准确性和推理结构两方面的改进（Wen等人，2025；Tang等人，2025），但它们几乎只奖励最终答案。因此，引入过程级、步骤级奖励的影响仍然是一个悬而未决的问题。Samineni等人（2025）通过分析经过RLVR训练的Qwen2.5-0.5B模型在GSM8K上是否表现出局部连贯性或仅仅达到全局正确的解，朝着这个方向迈出了一步，但他们的评估仍然集中于最终答案奖励，没有改变奖励粒度。我们的工作直接解决了这一空白。利用Samineni等人（2025）在GSM8K上采用的Qwen2.5-0.5B RLVR设置，并借鉴Uesato等人（2022）的见解，我们系统地改变了奖励粒度。我们比较了纯结果、纯过程以及不同的过程+结果混合奖励制度，以研究可验证奖励设计如何影响生成的推理轨迹的连贯性和有效性，以及最终答案准确性。

## 3 数据集与评估策略

我们使用GSM8K（Cobbe等人，2021），这是一个广泛采用的基准测试，包含8,792道小学数学应用题。这些任务旨在需要逐步算术推理，使其成为评估CoT行为变化的理想选择。

由于推理特征因问题难度级别而异，我们从包含1,319个问题的测试集中精选了一个平衡的45个问题评估子集：15道简单题（2-3步）、15道中等题（4-5步）和15道难题（6-11步）。难度由解的真实步骤数定义，这提供了比表面启发式更客观的分层。这种平衡设置使我们能够分析奖励结构是否在不同难度级别的问题上对推理产生不同影响，如表1所示。

| 真实解中的步骤数 | GSM8K问题数量 |
|------------------|---------------|
| 2                | 326           |
| 3                | 370           |
| 4                | 298           |
| 5                | 174           |
| 6                | 88            |
| 7                | 40            |
| 8                | 20            |
| 9                | 2             |
| 11               | 1             |
| 总计             | 1,319         |

表1: 按真实解步骤数划分的测试集分布。

## 4 模型设置与奖励结构

### 4.1 基础模型与基线

所有实验均使用Qwen2.5-0.5B（Yang等人，2024），这是一个紧凑的Transformer模型，其有限的容量使得推理失败易于观察。作为基线，我们在直接答案（无CoT）设置下评估预训练模型，该设置依赖于基于模式的推理而没有显式推理，在测试集上达到33.13%（437/1,319）。基线反映了先前研究中的观察结果，即没有适当监督的CoT生成*不能*保证连贯的推理（Saparov和He，2023）。

### 4.2 训练设置与实现

所有RLVR实验均使用组相对策略优化（GRPO）（Shao等人，2024）进行，这是近端策略优化（PPO）的一种变体，专为语言模型微调设计。我们利用VERL（Volcano Engine Reinforcement Learning）库，该库为大规模语言模型训练提供了高效的RL算法实现。所有奖励条件的超参数保持不变：批量大小64，小批量大小8，学习率1×10⁻⁶，KL系数0.001，5个epoch（580步），温度0.6，每次提示使用vLLM进行5次展开。最大序列长度为512个token（提示）和1,024个token（响应）。所有运行使用单个A100 80GB GPU。遵循VERL的评估协议，测试集准确率报告为val-core/math/reward/mean@1，在每次训练epoch后在GSM8K测试分割上进行评估。完整的超参数细节见附录表4。

### 4.3 奖励结构

图1说明了端到端训练流程。我们评估了三种形式的奖励监督。

![图1: RLVR训练流程概览。基础模型Qwen2.5-0.5B通过vLLM生成展开，由奖励函数（过程、结果或混合）评估，并用于在VERL框架内通过GRPO更新策略。](图1的alt文本)

#### 过程奖励（过程监督）

过程奖励评估CoT的每个中间步骤。在我们的实现中，我们从GSM8K解中提取真实的推理步骤（包括逐步计算），并将模型生成的步骤与这些参考进行比较。如果某个步骤与预期的中间计算匹配（数值公差为1×10⁻⁵），则获得奖励1，否则为0。总过程奖励是正确步骤的比例：

R_process = 正确步骤数 / 总步骤数  (1)

为了阻止过度的冗长，当生成的链超过真实步骤数的1.5倍时，我们施加惩罚。这种步骤级监督鼓励模型将计算分解为更细粒度的组件，保持步骤级别的数值正确性，输出可解释的、反映真实解的推理，并显式定义变量和中间计算。然而，由于每个正确步骤独立获得奖励，模型可能会倾向于过度生成步骤或探索不必要的详细路径，这与Lightman等人（2023）对RL环境中逐步监督的担忧一致。

#### 结果奖励（结果监督）

结果奖励仅评估最终数值答案。我们从模型的响应中提取最终答案（支持诸如\boxed{答案}、#### 答案和自然语言模式等格式），并将其与真实解进行比较。奖励是二值的：

R_outcome = { 1 如果 |â - a*| < ε, 0 其他情况 }, ε = 10⁻⁵  (2)

其中 â 是模型预测的答案，a* 是真实答案。

这种结果级监督推动模型面向单一最终数值目标进行优化，与许多RLVR系统一致。最终答案与真实解完全匹配时获得全部奖励。这种设置更简单，需要的计算资源更少，并且能够在更广泛的解空间上进行探索，因为它仅受最终答案的约束。然而，它没有为正确的中间步骤提供反馈。因此，即使推理轨迹错误，只要最终答案偶然正确，模型也会得到奖励。