标签
本文表明，PPFG（PRM-Pruned Fragment Grafting，一种成本极低的推理时跨轨迹迁移技术）在三个推理语言模型和六个基准测试上与独立并行的 CoT 在统计上无法区分；这种失效性可归因于注入定位不佳以及由选择主导的剪枝动力学。
本文提出了 TIPS（思维诱导过程监督）框架，这是一种仅基于结果奖励的强化学习方法，仅使用结果级别的奖励来训练生成式过程奖励模型，在 ProcessBench 上仅用 3.2K 条结果标注轨迹即达到 85.2 F1，超越了现有的训练型 PRM 以及仅使用提示词的评判模型如 GPT-5.4-Instruct。
本文将PRM压力测试表述为使用MAP-Elites的质量-多样性搜索问题，刻画了存档覆盖可以证明和不能证明的内容。在Qwen2.5-Math-PRM-7B上的实验揭示了依赖聚合方式的漏洞，且LoRA修复协议降低了利用率。
本文介绍了前缀效用模型（PUM），该模型基于前缀的效用（解题率的提升）而非局部正确性来评估LLM推理前缀。PUM在数学推理任务中的选择、搜索和强化学习方面表现出色。
本文引入了分布过程奖励模型，利用条件最优传输对 PRM 进行校准，以提高推理时缩放（inference-time scaling）中成功概率估计的准确性。该研究在 MATH-500 和 AIME 等数学推理基准测试中展示了改进的校准效果和下游性能。
本文提出无监督过程奖励模型（uPRM），通过利用LLM的下一个令牌概率识别错误推理步骤，从而消除人工标注需求，在准确率上相比LLM-as-a-Judge提升高达15%，并且作为验证器和奖励信号时表现与有监督PRM相当。