论文页面 - Muon 能否微调基于 Adam 预训练的模型？

来源：https://huggingface.co/papers/2605.10468

摘要

在微调过程中，Adam 与 Muon 之间的优化器不匹配会导致性能下降，这是由于两者存在不同的隐式偏差。但可以通过使用如 LoRA 之类的参数高效微调方法来缓解这一问题。

Muon (https://huggingface.co/papers?q=Muon) 已成为预训练阶段替代 Adam (https://huggingface.co/papers?q=Adam) 的高效方案，但在微调 (https://huggingface.co/papers?q=fine-tuning) 领域的应用仍不充分。主要的障碍在于，大多数开源模型均使用 Adam (https://huggingface.co/papers?q=Adam) 进行预训练。如果直接在微调 (https://huggingface.co/papers?q=fine-tuning) 阶段切换至 Muon (https://huggingface.co/papers?q=Muon)，会因优化器不匹配 (https://huggingface.co/papers?q=optimizer%20mismatch) 而导致性能下降。我们通过受控实验对该不匹配现象进行了调查，并将其与 Adam (https://huggingface.co/papers?q=Adam) 和 Muon (https://huggingface.co/papers?q=Muon) 截然不同的隐式偏差 (https://huggingface.co/papers?q=implicit%20biases) 联系起来。我们提供了证据表明，这种不匹配会破坏预训练知识，且破坏程度随更新强度的增加而加剧。由此我们提出假设：限制更新幅度应能缓解这种不匹配问题。我们通过 LoRA (https://huggingface.co/papers?q=LoRA) 验证了该假设：在语言和视觉任务中，LoRA (https://huggingface.co/papers?q=LoRA) 缩小了在完整微调 (https://huggingface.co/papers?q=fine-tuning) 条件下观察到的 Adam (https://huggingface.co/papers?q=Adam) 与 Muon (https://huggingface.co/papers?q=Muon) 之间的性能差距。关于 LoRA 秩 (LoRA (https://huggingface.co/papers?q=LoRA)rank)、灾难性遗忘 (https://huggingface.co/papers?q=catastrophic%20forgetting) 以及 LoRA 变体的研究进一步证实，不匹配的严重程度与更新强度密切相关。这些结果为理解优化器不匹配 (https://huggingface.co/papers?q=optimizer%20mismatch) 如何影响微调 (https://huggingface.co/papers?q=fine-tuning) 以及如何缓解该问题提供了新的见解。我们的代码已开源，地址为 https://github.com/XingyuQu/muon (https://huggingface.co/papers?q=muon)-finetune。

查看 arXiv 页面 (https://arxiv.org/abs/2605.10468) 查看 PDF (https://arxiv.org/pdf/2605.10468) GitHub2 (https://github.com/XingyuQu/muon-finetune) 添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2605.10468)

在您的智能体中获取本论文：

hf papers read 2605.10468

尚未安装最新版 CLI？curl -LsSf https://hf.co/cli/install.sh \| bash

引用此论文的模型 0

无链接至本论文的模型

请在模型的 README.md 中引用 arxiv.org/abs/2605.10468，即可从本页建立链接。

引用此论文的数据集 0

无链接至本论文的数据集

请在数据集的 README.md 中引用 arxiv.org/abs/2605.10468，即可从本页建立链接。

引用此论文的 Space 0

无链接至本论文的 Space

请在 Space 的 README.md 中引用 arxiv.org/abs/2605.10468，即可从本页建立链接。

包含此论文的合集 0

无包含此论文的合集

将本论文添加至 a collection (https://huggingface.co/new-collection)，即可从本页建立链接。