面向实用且可扩展的 SOAP 的因子化单侧 Adam 矩
摘要
FOAM 是一种轻量级 SOAP 变体,采用仅针对输入的预条件化和因子分解的 Adam 矩估计器,在大语言模型预训练中达到与 SOAP 和 Muon 基线相当的性能,同时将优化器状态内存占用减半,并以与 Muon 相当的速度运行。
查看缓存全文
缓存时间: 2026/11/16 08:55
论文页面 - 用于实用且可扩展 SOAP 的因子化单侧 Adam 矩
来源:https://huggingface.co/papers/2611.16905
摘要
FOAM 是一种轻量级 SOAP 变体,采用仅输入侧预条件和因子化 Adam 矩估计器,在 LLM 预训练中达到强大的二阶优化器和 Muon 基线的水平,同时仅使用一半的优化器状态,并以 Muon 级别的速度运行\。
二阶优化器 (https://huggingface.co/papers?q=Second-order%20optimizers)\(例如 Shampoo (https://huggingface.co/papers?q=Shampoo)、SOAP (https://huggingface.co/papers?q=SOAP)\)已成为 Adam/AdamW (https://huggingface.co/papers?q=AdamW) 极具吸引力的替代方案,有望在 Transformer 训练 (https://huggingface.co/papers?q=transformer%20training) 中实现比 AdamW (https://huggingface.co/papers?q=AdamW) 更快的逐步收敛\。然而,它们在实际应用中的成本仍然很高,即使是 SOAP (https://huggingface.co/papers?q=SOAP),也仍需承担大量优化器状态内存 (https://huggingface.co/papers?q=optimizer-state%20memory) 和特征分解 (https://huggingface.co/papers?q=eigendecomposition) 开销\。我们探究能否以接近 AdamW (https://huggingface.co/papers?q=AdamW) 的效率保留 SOAP (https://huggingface.co/papers?q=SOAP) 的优势\。本文通过一种轻量级 SOAP (https://huggingface.co/papers?q=SOAP) 变体——因子化单侧 Adam 矩 (FOAM) (https://huggingface.co/papers?q=Factored%20One-sided%20Adam-Moment%20(FOAM))——给出了肯定的答案\。实现实际效益的途径有两个方面:首先,FOAM 采用仅输入侧预条件 (https://huggingface.co/papers?q=input-only%20preconditioning),舍弃输出侧 Kronecker 因子 (https://huggingface.co/papers?q=output-side%20Kronecker%20factor),以减少内存占用并省去一次特征分解 (https://huggingface.co/papers?q=eigendecomposition)\。Hessian 的 Kronecker 结构表明,对于对角的输出侧曲率 (https://huggingface.co/papers?q=diagonal%20output-side%20curvature),这种处理是精确的;对于近似对角的输出侧曲率,则几乎无损,我们的实证观察也证实了这一点\。其次,FOAM 用基于行列统计量 (https://huggingface.co/papers?q=row-by-column%20statistics) 的因子化 Adam 矩估计器 (https://huggingface.co/papers?q=factored%20Adam-moment%20estimator),替代 SOAP (https://huggingface.co/papers?q=SOAP) 的稠密旋转二阶矩 (https://huggingface.co/papers?q=dense%20rotated%20second%20moment)\。在输出曲率为对角矩阵的 K-FAC Fisher 假设 (https://huggingface.co/papers?q=K-FAC%20Fisher%20assumption) 下,该估计器能精确恢复 SOAP (https://huggingface.co/papers?q=SOAP) 的稠密二阶矩 (https://huggingface.co/papers?q=dense%20second%20moment),而我们测得的 K-FAC 假设偏离程度 (https://huggingface.co/papers?q=K-FAC%20violation) 仅为 15-20%,对更新的影响可以忽略不计\。我们的实证结果支持以下结论:在不同规模的大语言模型 (LLM) 预训练中,FOAM 的验证损失与强大的 SOAP (https://huggingface.co/papers?q=SOAP) 和 Muon (https://huggingface.co/papers?q=Muon) 基线相当,优化器状态仅为 SOAP (https://huggingface.co/papers?q=SOAP) 的一半,实际运行时间达到 Muon (https://huggingface.co/papers?q=Muon) 级别,并在三倍跨度的学习率范围内保持稳健性\。这些结果在 1.24 亿至 7.6 亿参数的规模上均成立,表明获得 SOAP (https://huggingface.co/papers?q=SOAP) 的收益不一定需要付出 SOAP (https://huggingface.co/papers?q=SOAP) 的成本\。代码:https://github.com/naver-ai/foam
查看 arXiv 页面 (https://arxiv.org/abs/2611.16905)查看 PDF (https://arxiv.org/pdf/2611.16905)GitHub0 (https://github.com/naver-ai/foam)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2611.16905)
在你的智能体中获取这篇论文:
hf papers read 2611\.16905
还没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用这篇论文的模型0
没有链接到这篇论文的模型
在模型的 README.md 中引用 arxiv.org/abs/2611.16905,即可从本页面链接到该模型\。
引用这篇论文的数据集0
没有链接到这篇论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2611.16905,即可从本页面链接到该数据集\。
引用这篇论文的 Space0
没有链接到这篇论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2611.16905,即可从本页面链接到该 Space\。
包含这篇论文的收藏集2
相似文章
SOAP、Muon 及更多:推动LLM预训练规模扩展
本文改进了高阶优化器 SOAP 和 Muon,用于大规模 LLM 预训练,解决了大批量训练中的不稳定性问题,并引入了一种与 Megatron-LM 兼容的层式分布式优化器。实验表明,在数十亿参数规模下,它们始终优于 AdamW。
@burny_tech: 关于优化器魔法的更新
一篇新的NVIDIA论文提出,像Muon和SOAP这样的高阶优化器,可以作为大规模LLM预训练中AdamW的更高效替代方案。
为什么像 Shampoo、SOAP 和 Adam 这样的优化器不去测量类似 Fisher 信息矩阵那样的真实每样本二阶矩?[d]
一篇技术讨论,论证 Shampoo、Muon 和 Adam 在近似二阶矩(如 Fisher 信息矩阵)时都丢弃了每样本协方差项,并质疑为什么使用真实的二阶矩反而表现不如这些近似方法。
COOPA:一种面向运筹学问题的模块化LLM智能体架构
本文介绍了COOPA,一种面向运筹学问题的模块化LLM智能体架构,它结合了基于迭代置信度的建模、元素级溯源和多求解器路由。在八个LLM主干网络和四个基线的评估中,COOPA在六个主干网络上取得了最佳的宏平均准确率,并在最强基线的基础上提升了最多6.7个百分点。
基于无调度频谱优化的随时训练
本文介绍了SF-NorMuon,一种无调度频谱优化器,在参数规模达7.72亿的语言模型上匹配或超越调优后的AdamW,并提供了平稳性和长期稳定性的理论保证。