论文页面 - 方法更多，Agent 更强？智能体强化学习中自蒸馏的现实检验

来源：https://huggingface.co/papers/2610.19789

摘要

智能体强化学习中的自蒸馏方法日益增多。然而，现有评测往往在不同的实验条件下复用已发表的基线分数，对同期方法之间的直接比较较少，并且对训练稳定性和计算成本的关注有限。这些不足掩盖了性能提升的真实来源，以及各竞争方法的实际优缺点。昂贵的智能体训练成本进一步催生了对统一比较基准的需求。为填补这些空白，我们在 ALFWorld、ScienceWorld、SearchQA 和 WebShop 四个环境中，针对三种不同规模的模型，将十种代表性方法与 GRPO 进行了对比。我们的研究共包含 132 次训练运行，累计记录了 12,124.4 个 H800 GPU 小时，并对预训练基座模型和所有经过训练的方法在八个 rollout 种子上进行了重复评测。除了最终任务性能之外，我们还考察了训练过程、训练稳定性以及实测计算成本。我们的评测得出三个关键发现。第一，相较于 GRPO 的性能增益在适用范围上仍然有限，没有一种方法在所有设置下都能持续优于它。第二，优异的最终性能可能掩盖不稳定的训练过程。第三，额外的训练成本并不能一致地转化为更好的性能。我们建立此基准以支持公平、全面的比较，并引导未来研究朝着智能体训练中可靠且高效的方向发展。项目主页：https://aim-uofa.github.io/Self-Distillation-AgentRL/

查看 arXiv 页面 (https://arxiv.org/abs/2610.19789) 查看 PDF (https://arxiv.org/pdf/2610.19789) 项目主页 (https://aim-uofa.github.io/Self-Distillation-AgentRL/) GitHub1 (https://github.com/aim-uofa/Self-Distillation-AgentRL) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.19789)

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.19789 以从此页面链接它。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.19789 以从此页面链接它。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.19789 以从此页面链接它。

包含此论文的收藏夹 0

暂无收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页面链接它。