论文页面 - 超越预训练阶段重新审视Muon：VLA与RLVR中的频谱失效与高通修复方法

来源：https://huggingface.co/papers/2605.19282

摘要

Muon在LLM预训练中采用的频谱白化方法被Pion所取代，后者使用高通牛顿-舒尔茨（NS）迭代来稳定低秩和低信噪比（SNR）条件下的训练，同时保持计算效率并支持逐头更新。

Muon (https://huggingface.co/papers?q=Muon)是一种矩阵感知优化器，它利用牛顿-舒尔茨（NS）迭代来实现频谱梯度正交化 (https://huggingface.co/papers?q=spectral%20gradient%20orthogonalization)，通过将动量矩阵的所有奇异值 (https://huggingface.co/papers?q=singular%20values) 推向1。然而，这种均匀的频谱白化虽然增强了探索能力，且在LLM预训练中优于AdamW，但我们表明，在预训练之外的两个场景中，它可能导致根本性局限：(i) 跨模态视觉-语言-动作 (https://huggingface.co/papers?q=cross-modality%20vision-language-action)（VLA）训练，其中动作模块梯度天生低秩，导致噪声尾方向被放大；(ii) 带可验证奖励的强化学习 (https://huggingface.co/papers?q=reinforcement%20learning%20with%20verifiable%20rewards)（RLVR），其中梯度低信噪比（SNR）且需要保留先前训练中每个头的专长，这使得白化变得不稳定。为解决这些问题，我们提出Pion，作为Muon (https://huggingface.co/papers?q=Muon)的即插即用替代方案，它保持原有计算效率的同时，将均匀频谱白化替换为两阶段的“提升+抑制”机制，我们称之为高通NS迭代。该设计引入了尖锐的频谱高通效应 (https://huggingface.co/papers?q=spectral%20high-pass%20effect)，将主导奇异值 (https://huggingface.co/papers?q=singular%20values) 锚定在1，同时将噪声尾成分抑制到接近0，并支持可调节的滤波强度。为了保留预训练得到的逐头异质性，Pion还支持逐头模式 (https://huggingface.co/papers?q=per-head%20mode)，通过简单reshape操作在注意力头 (https://huggingface.co/papers?q=attention%20heads) 之间独立应用更新，且不增加额外成本。在LIBERO和LIBERO-Plus上的VLA训练中，Pion在l1回归（VLA-Adapter (https://huggingface.co/papers?q=VLA-Adapter)）和流匹配（VLANeXt (https://huggingface.co/papers?q=VLANeXt)）两种架构上均持续优于两种基线，例如在LIBERO Object任务上，使用VLA-Adapter (https://huggingface.co/papers?q=VLA-Adapter) 训练1500步后达到100%成功率，而Muon (https://huggingface.co/papers?q=Muon)为97.0%，AdamW仅为32.2%。Pion的优势进一步扩展到采用pi_0.5骨干网络、在DROID设置 (https://huggingface.co/papers?q=DROID%20setup) 下的真实Franka Research 3机器人上的三项抓取-放置任务。在Qwen3-1.7B/4B采用GRPO (https://huggingface.co/papers?q=GRPO) 和GMPO (https://huggingface.co/papers?q=GMPO) 的RLVR后训练中，Pion在MATH和GSM8K上同样优于AdamW，而Muon (https://huggingface.co/papers?q=Muon)则崩溃至零。

查看arXiv页面 (https://arxiv.org/abs/2605.19282) 查看PDF (https://arxiv.org/pdf/2605.19282) 项目页面 (https://chongyu-fan.netlify.app/posts/pion/) GitHub3 (https://github.com/OPTML-Group/Pion) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.19282)

在你的代理中获取这篇论文：

hf papers read 2605\.19282

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

暂无模型链接此论文

在模型的README.md中引用arxiv.org/abs/2605.19282即可从此页面链接。

引用该论文的数据集0

暂无数据集链接此论文

在数据集的README.md中引用arxiv.org/abs/2605.19282即可从此页面链接。

引用该论文的Space0

暂无Space链接此论文

在Space的README.md中引用arxiv.org/abs/2605.19282即可从此页面链接。

包含该论文的收藏集0

暂无包含此论文的收藏集

将这篇论文添加到收藏集 (https://huggingface.co/new-collection) 中即可从此页面链接。