标签
本文提出ReCo，一种奖励协调的压缩框架，利用过程奖励估计器自适应压缩KV缓存、控制反思Token并启用早停，在保持准确率的同时，将推理模型的生成Token减少37%–65%，延迟降低约2倍。
提出PaTR，一个过程奖励引导的自适应树状展开框架，用于LLM智能体的多轮强化学习。它选择性地从有希望的中间状态进行分支，并剪枝死胡同路径，在相同训练预算下，在SWE-Bench上最高提升+5.0，在FrozenLake上提升+9.3。
介绍了TRIAGE，一种角色类型化信用分配框架，通过提供比标准GRPO方法更细致的信用分配来改进智能体强化学习。该框架使用结构化评判器对动作片段进行分类，并根据语义角色分配过程奖励。
本文提出了过程验证强化学习，利用 Lean 证明助手作为过程预言机，在训练期间提供细粒度的策略级反馈，从而提升定理证明性能。
ProcessThinker 引入了一种实用的后训练流程，无需训练显式的过程奖励模型即可提供步骤级的过程奖励。它利用基于展开的奖励为多模态大语言模型中的多步推理提供密集的信用分配，在视频基准测试上持续提升性能。
ARBOR 引入了一种可复用的评分缓存，为基于LLM的搜索代理提供在线过程奖励，在仅依赖结果奖励不足时提升训练效率。它在多跳问答基准测试中优于 GRPO 和 DAPO，将多达42%的零梯度训练组转化为信息丰富的训练组。
RoRo 提出了一种面向大型推理模型逐步模型路由的评分引导过程奖励框架，将过程奖励与结果奖励结合，通过 GRPO 训练路由策略，在推理基准测试中优于基线方法。
介绍了元认知即奖励（MaR），一个基于元认知知识与调控信号指导大语言模型推理的强化学习框架，在推理基准上相比基准方法最高提升11%。
本文识别并解决了LLM数学推理中的‘奇迹步骤’问题——即无根据跳至正确答案的奖励篡改行为——通过提出评分奖励模型（RRM），一种面向过程的奖励函数，评估整个推理轨迹。RRM在AIME2024上实现了显著提升（Verified Pass@1024从26.7%提高至62.6%），并将奇迹步骤减少了71%。