过程优势信号塑形：用于LLM推理器中过程监督强化学习的范式无关中间件

# 过程优势信号整形：面向LLM推理器过程监督强化学习的范式无关中间件 来源：https://arxiv.org/html/2606.29296 王超 清华大学 &田鸿涛11footnotemark:1 微信，腾讯 &杨涛 微信，腾讯 同等贡献。工作完成于腾讯实习期间。通讯作者。[email protected] (https://arxiv.org/html/2606.29296v1/[email protected]),[email protected] (https://arxiv.org/html/2606.29296v1/[email protected]) 史韵声 微信，腾讯 &姚婷 微信，腾讯 &丁文波33footnotemark:3 清华大学

###### 摘要

群体相对策略优化（GRPO）是LLM推理器过程监督强化学习的默认方案，而密集过程监督——通过学习所得过程奖励模型（PRM）或在线策略蒸馏KL信号——是增强其原本薄弱的结果奖励的常用方法。然而，将这种步骤级信号叠加在GRPO的群体标准化优势之上，会暴露三种结构性病理：*通道污染*，发生在群体标准化时对过程、结果和格式流的混合处理；*分辨率错配*，存在于过程信号的粒度与被归因逻辑决策的粒度之间；以及*累积陷阱*，GRPO的剩余回报求和根据信号的符号区间会导致长度膨胀或探索截断。我们提出PASS（*过程优势信号整形*），这是一个紧凑的中间件，位于任何标量步骤级过程信号与GRPO的裁剪替代目标之间，并依次解决三种病理：*优势融合*在每组内独立标准化三个流，*按值分块*从信号本身导出值同质块并在块内广播信用，*除长度*将累积目标转换为平均值密度得分。我们在两个领域和两种过程信号范式——数学推理中的学习PRM和多跳问答中的在线策略蒸馏KL信号（带广义变体）——以及两种群体标准化算子下进行验证。在每种设置下，PASS相对于相应的GRPO基线都带来了一致的pass@1提升。

## 1 引言

群体相对策略优化（GRPO）（Shao等人，2024（https://arxiv.org/html/2606.29296#bib.bib1）；Guo等人，2025（https://arxiv.org/html/2606.29296#bib.bib2））已成为大型语言模型（LLM）推理器过程监督强化学习（RL）的默认方案。当仅有结果奖励导致长推理轨迹监督薄弱时，一种自然补救措施是添加密集的*过程信号*，逐步对轨迹评分：数学推理中使用学习所得过程奖励模型（PRM）（Zhang等人，2025（https://arxiv.org/html/2606.29296#bib.bib7）；Lightman等人，2023（https://arxiv.org/html/2606.29296#bib.bib10）），或在更开放的推理中使用针对更强教师的token级KL散度（如在线策略蒸馏（Agarwal等人，2023（https://arxiv.org/html/2606.29296#bib.bib11）））。然而，在实践中，将这种密集信号附加到GRPO的裁剪替代目标上很少是即插即用的，出现的困难并非信号本身的特性，而是GRPO形成其优势方式的产物。这些困难自然地对应于GRPO优势管线的三个阶段：聚合、广播和轨迹求和。在聚合阶段，将过程、结果和格式流混合到单一的组内标准化中，会使高方差的结果奖励吸收s_prcs的细粒度波动；近期工作已将这种朴素的通道混合与准确率的急剧下降联系起来，并将不稳定性追溯至群体相对统计量本身（Ye等人，2025（https://arxiv.org/html/2606.29296#bib.bib21）；Liu等人，2026（https://arxiv.org/html/2606.29296#bib.bib9））。在广播阶段，s_prcs的空间粒度很少与策略实际做出的逻辑决策的粒度匹配：PRM过于粗糙，token级反向KL过于精细，因此每个token的优势要么迟钝要么嘈杂。关于信用分配粒度的近期综述确实指出，缺乏一种信号驱动机制来匹配信用的分辨率与推理的分辨率，这是一个开放问题（Zhang，2026（https://arxiv.org/html/2606.29296#bib.bib26））。在轨迹求和阶段，GRPO的剩余回报目标无条件地奖励任何具有非负边际贡献的步骤，这根据s_prcs的符号区间导致了两种不同的失败模式：在正向偏差信号下表现为长度膨胀和奖励破解（Liu等人，2026（https://arxiv.org/html/2606.29296#bib.bib9）；Sullivan，2025（https://arxiv.org/html/2606.29296#bib.bib6）；Li等人，2026b（https://arxiv.org/html/2606.29296#bib.bib19）），在负向偏差的在线策略蒸馏token级反向KL下表现为过早截断。仅解决这三个阶段之一或仅解决两种符号区间之一的机制，将无法处理其余问题。

我们提出PASS（*过程优势信号整形*），这是一个紧凑的中间件，位于任何标量步骤级过程信号s_prcs与GRPO的裁剪替代目标之间。PASS特意不是一种新的RL算法：它不修改裁剪替代目标、KL正则化项或展开循环；它仅重塑通用标量信号如何转化为GRPO所消耗的每个token优势。其三条规则按顺序与上述困难出现的三个阶段对应：聚合阶段的*优势融合*（AF）、广播阶段的*按值分块*（CV）和轨迹求和阶段的*除长度*（DL）。这三条规则以通用标量步骤级分数表述，并且在我们的两个领域中应用相同的中间件，无需算法更改。第4节（https://arxiv.org/html/2606.29296#S4）给出了每条规则的精确定义以及对其在GRPO梯度上影响的一阶分析。

#### 实证范围。我们在两个领域验证PASS，这两个领域运用了非常不同的过程信号范式。在数学推理中，s_prcs是学习所得PRM分数，我们在标准竞赛和学校级基准套件上进行评估。在多跳问答中，s_prcs是针对更强教师的token级反向KL，以原始在线策略蒸馏（OPD）和广义变体（G-OPD）两种形式实现，后者将散度锚定在额外的基策略上；我们在三个跳数和干扰项难度各异的多跳基准上进行评估。为进一步隔离PASS本身的贡献与数值预处理选择的影响，我们在两种常用群体标准化算子（掩码均值/标准差（Masked-Norm）和绝对最大值缩放（Abs-Max Scaling））下运行每个多跳配置。在所有轴向上，PASS相对于其对应的GRPO基线都是一致正面的贡献。

#### 贡献。我们的工作做出以下贡献。

- •我们识别了在累积优势GRPO上叠加密集过程监督时出现的三个结构性困难——聚合时的通道污染、广播时的分辨率错配和轨迹时的累积偏差——并引入PASS，一个薄的优势整形中间件，其三规则（AF、CV、DL）逐一解决这三个阶段。
- •我们证明了累积优势GRPO的长度崩溃定理（定理1（https://arxiv.org/html/2606.29296#Thmtheorem1）），并分析表明DL规则将目标转换为平均值密度形式，其梯度是双面边际值过滤器，在边际贡献的符号上对称。
- •我们在两种过程信号范式、两个领域和两种群体标准化算子下验证PASS，观察到在每种设置下相对于相应GRPO基线的一致pass@1提升。

## 2 相关工作

#### 过程奖励模型与混合奖励GRPO。密集PRM由步骤级验证器推广（Lightman等人，2023（https://arxiv.org/html/2606.29296#bib.bib10）），并通过自监督过程数据管道精炼（Zhang等人，2025（https://arxiv.org/html/2606.29296#bib.bib7））。然而，将这些信号叠加在GRPO式群体归一化RL（Shao等人，2024（https://arxiv.org/html/2606.29296#bib.bib1）；Guo等人，2025（https://arxiv.org/html/2606.29296#bib.bib2））上反复表现不佳：Sullivan（2025（https://arxiv.org/html/2606.29296#bib.bib6））表明GRPO本身已充当隐式且频率有偏的过程奖励估计器，Ye等人（2025（https://arxiv.org/html/2606.29296#bib.bib21））报告朴素混合结果和过程奖励会导致准确率下降两位数百分点，将不稳定性追溯到不兼容的通道共享一个群体标准化统计量。提出的补救措施分为三条路线——群体内频率重加权（Sullivan，2025（https://arxiv.org/html/2606.29296#bib.bib6））、展开结果的一致性过滤（Ye等人，2025（https://arxiv.org/html/2606.29296#bib.bib21））和奖励解耦归一化（Liu等人，2026（https://arxiv.org/html/2606.29296#bib.bib9））——所有这些都激励PASS在每token优势层面而非标量奖励层面进行解耦。

#### 信用分配粒度。一条并行的研究方向针对RL信号的粒度与其应归因的逻辑转换粒度之间的错配。Zhang（2026（https://arxiv.org/html/2606.29296#bib.bib26））将现有方法组织成语义粒度谱，并识别出缺乏信号驱动机制来匹配信用分辨率与推理分辨率这一核心开放问题。针对该谱系不同点的代表性攻击各有代价：FIPO（Ma等人，2026（https://arxiv.org/html/2606.29296#bib.bib20））通过折现未来KL项对token重加权，在长轨迹上扩展性差；反事实跨度加权（Khandoga等人，2026（https://arxiv.org/html/2606.29296#bib.bib18））掩码候选跨度但假设正确性集中在小可识别集上；基于归因的方法如ACPO（Yin等人，2025（https://arxiv.org/html/2606.29296#bib.bib25））依赖上游语义分割器，在非结构化推理上退化。PASS在不依赖辅助网络或正确性定位假设的情况下解决类似谱系。

#### 长度膨胀与累积陷阱。对GRPO剩余回报结构的分析一致记录了向更长轨迹的结构性偏差（Razin等人，2025（https://arxiv.org/html/2606.29296#bib.bib3）；Li等人，2026b（https://arxiv.org/html/2606.29296#bib.bib19））。提出的缓解措施包括乘法长度重新缩放（GR3（Li等人，2026b（https://arxiv.org/html/2606.29296#bib.bib19））），需要仔细的惩罚强度调整，以及正确性解耦基线（DRPO（Li等人，2025（https://arxiv.org/html/2606.29296#bib.bib22））），假设存在一个能可靠将展开结果标记为正确或不正确的预言机。近期综述（Liu等人，2025（https://arxiv.org/html/2606.29296#bib.bib24））进一步指出，显式长度惩罚无法干净区分必要长推导与冗余啰嗦。Divide-Length通过将累积目标重写为平均值密度得分来规避这两个问题，完全根据信号的边际贡献表达额外token的接纳标准。

#### 在线策略蒸馏动力学。在线策略蒸馏（Agarwal等人，2023（https://arxiv.org/html/2606.29296#bib.bib11））提供了一种替代性的token级KL风格步骤信号。Li等人（2026a（https://arxiv.org/html/2606.29296#bib.bib16））表明该信号的可靠性随深度不均匀：随着学生偏离分布，后缀出现升高的教师熵并在训练中反向传播，最终成为长程推理的瓶颈。这从不同于上述GRPO原生文献的角度证实了需要一个不将每个token视为一等信用分配单元的整形机制。我们的HotpotQA实验（§5.2（https://arxiv.org/html/2606.29296#S5.SS2））随后表明PASS无需算法更改即可从PRM风格信号迁移至OPD和G-OPD（Yang等人，2026（https://arxiv.org/html/2606.29296#bib.bib17））KL风格信号。

## 3 预备知识

我们简要形式化带有过程监督的群体相对策略优化（GRPO），遵循Shao等人（2024（https://arxiv.org/html/2606.29296#bib.bib1））；Guo等人（2025（https://arxiv.org/html/2606.29296#bib.bib2））的符号。令qq表示输入查询，π_θ为正在优化的策略。GRPO从π_θ(⋅|q)中采样一组G个候选输出{o_1, o_2, ..., o_G}。每个输出o_i进一步由分词器级规则D（例如，由推理模板产生的步骤边界，或由分数迹线诱导的边界）分割为K_i个推理块。我们令index(j)表示o_i第j个块结束的token索引，并记L_i为o_i的总长度。

#### 过程信号。我们采用通用符号s_prc(i, j)∈R，表示在输出o_i第j步评估的标量*过程信号*。在此阶段，我们故意不指定s_prc的来源：它可以是过程奖励模型（PRM）分数（Lightman等人，2023（https://arxiv.org/html/2606.29296#bib.bib10）），可以是针对教师策略的token级（反向）KL散度，或任何其他对局部质量进行排名的步骤级标量。第4节（https://arxiv.org/html/2606.29296#S4）为实验中使用的PRM和在线策略蒸馏（Agarwal等人，2023（https://arxiv.org/html/2606.29296#bib.bib11））两种设置具体化了s_prc。

#### 群体归一化。遵循标准GRPO带过程监督，原始步骤级信号跨组的G个输出汇集，
S = { {s_prc(1,1), ..., s_prc(1,K_1)}, ..., {s_prc(G,1), ..., s_prc(G,K_G)} },   (1)
并标准化产生每步分数
s̃_i^{index(j)} = N(s_prc(i,j); S),   (2)
其中N(·; S)表示群体级标准化算子（其具体选择推迟至§5（https://arxiv.org/html/2606.29296#S5））。

#### 累积优势。对于o_i中位置t处的任何token，基线GRPO带过程监督通过求和所有剩余的标准化步骤级分数来计算*累积*优势，
Â_{i,t} = ∑_{index(j) ≥ t} s̃_i^{index(j)}.   (3)
策略随后通过GRPO裁剪替代目标进行优化，以Â_{i,t}作为每token优势。这个累积和公式，以及s_prc在过程中被注入的方式……