论文页面 - Self-Credit：通过组内重缩放实现长时程智能体强化学习的信用分配

来源：https://huggingface.co/papers/2610.28388

摘要

LLM 智能体通常使用 RLVR（可验证奖励的强化学习）进行训练，但典型的 RLVR 奖励具有稀疏性，使得信用分配极具挑战性，尤其是在长时程任务中。我们提出 Self-Credit，一种端到端的智能体强化学习方法，通过组内重缩放实现自生成信用分配，从而从稀疏的结果奖励中构建稠密的监督信号。Self-Credit 基于组强化学习构建，包含三个组件。首先，在 rollout 过程中，策略模型生成带有引用的摘要，引用指向包含关键证据的早期轮次，这些引用充当自生成的信用分配。其次，我们通过组内重缩放来精炼这些模型生成的信用，即针对同一 prompt，在成功和失败的 rollout 之间比较被引用的动作。该方法利用组级别的一致性与分歧来去除不应得的信用，并进一步强化分配给关键动作的信用。第三，优势重加权（advantage reweighting）使用重缩放后的信用权重来更新被引用轮次的优势值。在 BrowseComp-Plus 上，Self-Credit 相比基座模型在 Qwen3-8B 和 32B 上分别提升了 37.0 和 36.2 个点，并且相比最强的智能体强化学习基线分别领先 8.5 和 5.6 个点。Self-Credit 在 GAIA 上相比最强基线提升 4.9 个点，在 xBench-DeepSearch 上提升 4.7 个点。分析表明，自生成的信用为筛选关键动作提供了有效信号，且组内重缩放在各模型规模上均至关重要，尤其是在失败的 rollout 上。

查看 arXiv 页面 · 查看 PDF · 添加到收藏

引用本文的模型：0

暂无模型关联到本文

在模型 README.md 中引用 arxiv.org/abs/2610.28388 即可从本页面链接。

引用本文的数据集：0

暂无数据集关联到本文

在数据集 README.md 中引用 arxiv.org/abs/2610.28388 即可从本页面链接。

引用本文的 Spaces：0

暂无 Space 关联到本文

在 Space README.md 中引用 arxiv.org/abs/2610.28388 即可从本页面链接。

包含本文的收藏：0

暂无收藏包含本文

将本文添加到收藏即可从本页面链接。