step-level-feedback

本文提出了 TIPS（思维诱导过程监督）框架，这是一种仅基于结果奖励的强化学习方法，仅使用结果级别的奖励来训练生成式过程奖励模型，在 ProcessBench 上仅用 3.2K 条结果标注轨迹即达到 85.2 F1，超越了现有的训练型 PRM 以及仅使用提示词的评判模型如 GPT-5.4-Instruct。

BetaPRM 是一种过程奖励模型，它使用来自蒙特卡洛延续的 Beta 信念来预测步骤级的成功概率以及该预测的可靠性，从而实现自适应计算分配，在提高准确性的同时将 token 使用量减少高达 33.57%。