论文页面 - Muon何时有助于智能体强化学习？

来源：https://huggingface.co/papers/2607.16169

摘要

Muon在大规模预训练中与AdamW具有竞争力，但其在强化学习（RL）后训练中的价值尚不明确。我们通过基于ALFWorld任务、使用Qwen2.5-0.5B-Instruct模型的单种子匹配对比，研究了vanilla Muon在稀疏奖励智能体RL中的表现。在分组内分组策略优化（GiGPO）下，仅将Muon应用于隐藏权重矩阵即可将最终窗口验证成功率从0.290提升至0.546（+88%）；而高学习率的AdamW对照组在更新后无成功率提升。该效果取决于优势估计器与学习率。在3e-5学习率下，Muon将GRPO的成功率从0.161提升至0.268，而GraphGPO的后期窗口差距在接近饱和时缩小。在1e-5学习率下，GraphGPO Muon的成功率达到0.901，归一化验证AUC从0.399提升至0.556，并且分别提前30次和60次更新达到0.5和0.75的成功率。这些探索性结果表明Muon能够为智能体RL带来收益，并启示我们应联合研究策略优化器、优势估计器与学习率。多种子与跨任务验证仍有待进行。

查看arXiv页面（https://arxiv.org/abs/2607.16169）查看PDF（https://arxiv.org/pdf/2607.16169）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.16169）

在你的智能体中获取此论文：

hf papers read 2607.16169

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.16169 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.16169 以从此页面链接。

引用此论文的Spaces0

没有Space链接此论文

在Space README.md 中引用 arxiv.org/abs/2607.16169 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）以从此页面链接。