论文页面 - 长时程强化学习需要 Muon

来源：https://huggingface.co/papers/2610.20256

摘要

长时程智能体必须在长时间的交互中协调推理、工具使用和环境反馈。从稀疏的结果奖励中学习，需要对不同长度的轨迹进行加权，并在仍在收集 rollout 时更新策略。我们研究了一种单 rollout 异步训练方案，结合了 Muon、按 token 平均的损失、截断重要性采样，以及辅助的长度惩罚和工具错误惩罚。单 rollout 采样无需等待同一问题的多条轨迹即可进行异步学习。我们针对两个模型系列在代码仓库级问题解决任务上的表现，研究了优化器选择和训练方案的组成部分。所评估的训练运行表明，完整方案的训练成功率高于基线。

查看 arXiv 页面 (https://arxiv.org/abs/2610.20256)查看 PDF (https://arxiv.org/pdf/2610.20256)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.20256)

在你的智能体中获取这篇论文：

hf papers read 2610\.20256

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.20256，即可从此页面链接到该模型。

引用此论文的数据集0

没有数据集链接到此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.20256，即可从此页面链接到该数据集。

引用此论文的 Space0

没有 Space 链接到此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.20256，即可从此页面链接到该 Space。

收录此论文的合集0

没有合集收录此论文

将此论文添加到一个合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集。