论文页面 - 从推理链到可验证子问题：课程强化学习实现 LLM 推理的信用分配

来源：https://huggingface.co/papers/2605.22074

摘要

SCRL通过子问题级归一化实现更精细的信用分配，并结合课程学习，解决了基于可验证奖励的强化学习效率低下的问题，在具有挑战性的基准测试上提升了数学推理性能。

基于可验证奖励的强化学习（https://huggingface.co/papers?q=Reinforcement%20learning%20from%20verifiable%20rewards）（RLVR）在 LLM 推理中展现出巨大的潜力，但基于结果的 RLVR 在难题上仍然效率低下，因为正确最终答案的 rollout 非常稀少，并且样本级信用分配（https://huggingface.co/papers?q=credit%20assignment）无法利用失败尝试中的部分进展。我们提出了 SCRL（子问题课程强化学习），这是一种课程 RL 框架，它从参考推理链中推导出可验证的子问题，并将最后一个子问题固定为原始问题。这将难题上的部分进展转化为可验证的学习信号。在算法上，SCRL 采用了子问题级归一化（https://huggingface.co/papers?q=subproblem-level%20normalization），在每个子问题位置独立地对奖励进行归一化，并将相应的优势分配给对应的回答片段，从而在无需外部评分标准或奖励模型的情况下实现更细粒度的信用分配（https://huggingface.co/papers?q=credit%20assignment）。我们的分析表明，子问题课程使难题摆脱了梯度死区，并且随着原始问题难度的增加，相对增益更大。在七个数学推理（https://huggingface.co/papers?q=mathematical%20reasoning）基准测试中，SCRL 优于强大的课程学习基线，在 Qwen3-4B-Base（https://huggingface.co/papers?q=Qwen3-4B-Base）上，与 GRPO（https://huggingface.co/papers?q=GRPO）相比，平均准确率提升了 +4.1 个百分点，在 Qwen3-14B-Base（https://huggingface.co/papers?q=Qwen3-14B-Base）上提升了 +1.9 个百分点。在 AIME24（https://huggingface.co/papers?q=AIME24）、AIME25（https://huggingface.co/papers?q=AIME25）和 IMO-Bench（https://huggingface.co/papers?q=IMO-Bench）上，SCRL 在 Qwen3-4B-Base（https://huggingface.co/papers?q=Qwen3-4B-Base）上进一步将 pass@1（https://huggingface.co/papers?q=pass%401）提升了 +3.7 个百分点，将 pass@64（https://huggingface.co/papers?q=pass%4064）提升了 +4.6 个百分点，表明在困难推理问题上具有更好的探索能力。

查看 arXiv 页面（https://arxiv.org/abs/2605.22074）查看 PDF（https://arxiv.org/pdf/2605.22074）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.22074）

在您的 agent 中获取这篇论文：

hf papers read 2605.22074

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2605.22074 可从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.22074 可从此页面链接。

引用此论文的 Space0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2605.22074 可从此页面链接。

包含此论文的收藏集0

没有包含此论文的收藏集

将此论文添加到一个收藏集（https://huggingface.co/new-collection）中可从此页面链接。