论文页面 - 半事实信用增强策略优化

来源: https://huggingface.co/papers/2609.40360

摘要

基于可验证奖励的强化学习（RLVR）已经提升了大语言模型（LLM）的推理能力，但其预测结果对与任务无关的提示特征仍然十分敏感。我们通过半事实（semifactual）提示干预——即在保留原始问题及其答案不变的前提下改变提示——来研究这种敏感性。分析揭示了 token 级别敏感性的显著差异，并表明在解码过程中抑制高漂移（drift）token 候选能够在不更新模型权重的情况下提升推理准确率。这些发现凸显了 GRPO（Group Relative Policy Optimization）的局限性：该方法将相同的由结果推导出的优势值（advantage）分配给响应中的每一个 token，可能在强化有用推理的同时，也强化了潜在的虚假依赖。受此观察启发，我们提出了 SCAPO（Semifactual Credit-Augmented Policy Optimization），一种受因果启发的 GRPO 变体，将半事实稳定性（semifactual stability）纳入 token 级别的信用分配中。SCAPO 在半事实干预下测量固定响应的 token 概率漂移，并使用归一化的稳定性分数在训练早期降低相对不稳定 token 的优势值，同时不会仅因稳定性本身而给予额外信用。在 Qwen3-4B-Base 和 Qwen3-1.7B-Base 上，SCAPO 在 AIME 2024-2026 上的准确率分别较 GRPO 提升了 5.63 和 4.17 个百分点。在这两个模型规模下，SCAPO 在大多数已评估的数学基准以及所有已评估的分布外（out-of-distribution）基准上均取得了对比方法中的最佳结果。这些结果表明，半事实稳定性能够作为一种有效的训练信号，通过 RLVR 中更细粒度的信用分配来提升推理能力和泛化能力。代码已开源：https://github.com/DtYXs/SCAPO

查看 arXiv 页面 (https://arxiv.org/abs/2609.40360)　查看 PDF (https://arxiv.org/pdf/2609.40360)　添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.40360)

在你的 agent 中获取此论文：

hf papers read 2609.40360

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联到此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.40360，即可从此页面链接过去。

引用此论文的数据集 0

没有数据集关联到此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.40360，即可从此页面链接过去。

引用此论文的 Spaces 1

包含此论文的集合 0

没有集合包含此论文

将此论文添加到集合 (https://huggingface.co/new-collection)，即可从此页面链接过去。