论文页面 - 从仅结果的强化学习中诱导过程监督

来源：https://huggingface.co/papers/2609.36641

摘要

过程奖励模型（PRM）已成为大语言模型的关键组件，其步骤级反馈同时支持后训练和测试时推理。然而，训练强性能的PRM仍然成本高昂：人工步骤标注难以扩展，而蒙特卡洛估计计算开销大，且可能偏离步骤本身的内在正确性。为了以低成本获得有效的PRM，我们提出了TIPS（思维诱导过程监督），一个用于训练生成式PRM的仅结果强化学习（RL）框架。在TIPS中，模型生成思维链（CoT），随后生成步骤级标签和结果标签。奖励仅取决于预测结果是否与真实值匹配，由此产生的组相对优势用于优化整个生成的回答。直观地说，当中间步骤的检查有助于确定结果时，更准确的检查可以带来更好的结果判断和更高的奖励。因此，仅结果的强化学习可以在没有显式过程监督的情况下强化步骤级验证。我们在数学和智能体基准以及四个骨干模型系列上验证了TIPS的有效性。值得注意的是，TIPS-Qwen3-4B-Thinking-2507仅使用3.2K条结果标注轨迹，在ProcessBench上达到85.2 F1，超越了所有参与评测的已训练PRM以及GPT-5.4-Instruct和Claude-4.7-Opus等仅靠提示的强判别器，但仍不及o1-mini。代码和数据可在 https://github.com/RUCBM/TIPS 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2609.36641)　查看 PDF (https://arxiv.org/pdf/2609.36641)　添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.36641)

在你的 agent 中获取此论文：

hf papers read 2609.36641

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型：0

没有模型关联到此论文

在模型 README.md 中引用 arxiv.org/abs/2609.36641 以从此页面链接它。

引用此论文的数据集：0

没有数据集关联到此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.36641 以从此页面链接它。

引用此论文的 Spaces：0

没有 Space 关联到此论文

在 Space README.md 中引用 arxiv.org/abs/2609.36641 以从此页面链接它。

包含此论文的集合：0

没有集合包含此论文

将此论文添加到收藏集 (https://hf.co/new-collection) 以从此页面链接它。