面向实用且可扩展的 SOAP 的因子化单侧 Adam 矩

Hugging Face Daily Papers 论文

摘要

FOAM 是一种轻量级 SOAP 变体,采用仅针对输入的预条件化和因子分解的 Adam 矩估计器,在大语言模型预训练中达到与 SOAP 和 Muon 基线相当的性能,同时将优化器状态内存占用减半,并以与 Muon 相当的速度运行。

二阶优化器(如 Shampoo、SOAP)已成为 Adam/AdamW 的有力替代方案,有望在 Transformer 训练中实现比 AdamW 更快的单步收敛。然而,它们在实际应用中的成本仍然很高,即使是 SOAP,也仍需承担可观的优化器状态内存开销和特征分解开销。我们提出一个问题:能否以接近 AdamW 的效率保留 SOAP 的优势?本文通过一种轻量级 SOAP 变体——因子化单侧 Adam 矩(Factored One-sided Adam-Moment,FOAM)——给出了肯定的回答。实现实用价值的路径有两个方面:首先,FOAM 仅对输入侧进行预条件处理,舍弃输出侧的 Kronecker 因子,以减少内存占用并省去一次特征分解。Hessian 矩阵的 Kronecker 结构表明,当输出侧曲率为对角矩阵时,这一处理是精确的;当其接近对角矩阵时,这一处理几乎无损,我们的实证观察也证实了这一点。其次,FOAM 用基于行列统计量的因子化 Adam 矩估计器,替代 SOAP 在旋转坐标系中的稠密二阶矩。在输出侧曲率为对角矩阵的 K-FAC Fisher 假设下,该估计器能够精确恢复 SOAP 的稠密二阶矩;我们测得对 K-FAC 假设的偏离仅为 15–20%,且对更新的影响可以忽略不计。我们的实验结果支持以下结论:在不同规模的大语言模型(LLM)预训练中,FOAM 的验证损失与强劲的 SOAP 和 Muon 基线相当,优化器状态占用仅为 SOAP 的一半,实际运行时间达到 Muon 的水平,并且在跨度为三倍的学习率范围内保持稳健。这些结果在 1.24 亿至 7.6 亿参数规模上均成立,表明获得 SOAP 的收益并不一定需要付出 SOAP 的成本。代码:https://github.com/naver-ai/foam
查看原文
查看缓存全文

缓存时间: 2026/11/16 08:55

论文页面 - 用于实用且可扩展 SOAP 的因子化单侧 Adam 矩

来源:https://huggingface.co/papers/2611.16905

摘要

FOAM 是一种轻量级 SOAP 变体,采用仅输入侧预条件和因子化 Adam 矩估计器,在 LLM 预训练中达到强大的二阶优化器和 Muon 基线的水平,同时仅使用一半的优化器状态,并以 Muon 级别的速度运行\。

二阶优化器 (https://huggingface.co/papers?q=Second-order%20optimizers)\(例如 Shampoo (https://huggingface.co/papers?q=Shampoo)、SOAP (https://huggingface.co/papers?q=SOAP)\)已成为 Adam/AdamW (https://huggingface.co/papers?q=AdamW) 极具吸引力的替代方案,有望在 Transformer 训练 (https://huggingface.co/papers?q=transformer%20training) 中实现比 AdamW (https://huggingface.co/papers?q=AdamW) 更快的逐步收敛\。然而,它们在实际应用中的成本仍然很高,即使是 SOAP (https://huggingface.co/papers?q=SOAP),也仍需承担大量优化器状态内存 (https://huggingface.co/papers?q=optimizer-state%20memory) 和特征分解 (https://huggingface.co/papers?q=eigendecomposition) 开销\。我们探究能否以接近 AdamW (https://huggingface.co/papers?q=AdamW) 的效率保留 SOAP (https://huggingface.co/papers?q=SOAP) 的优势\。本文通过一种轻量级 SOAP (https://huggingface.co/papers?q=SOAP) 变体——因子化单侧 Adam 矩 (FOAM) (https://huggingface.co/papers?q=Factored%20One-sided%20Adam-Moment%20(FOAM))——给出了肯定的答案\。实现实际效益的途径有两个方面:首先,FOAM 采用仅输入侧预条件 (https://huggingface.co/papers?q=input-only%20preconditioning),舍弃输出侧 Kronecker 因子 (https://huggingface.co/papers?q=output-side%20Kronecker%20factor),以减少内存占用并省去一次特征分解 (https://huggingface.co/papers?q=eigendecomposition)\。Hessian 的 Kronecker 结构表明,对于对角的输出侧曲率 (https://huggingface.co/papers?q=diagonal%20output-side%20curvature),这种处理是精确的;对于近似对角的输出侧曲率,则几乎无损,我们的实证观察也证实了这一点\。其次,FOAM 用基于行列统计量 (https://huggingface.co/papers?q=row-by-column%20statistics) 的因子化 Adam 矩估计器 (https://huggingface.co/papers?q=factored%20Adam-moment%20estimator),替代 SOAP (https://huggingface.co/papers?q=SOAP) 的稠密旋转二阶矩 (https://huggingface.co/papers?q=dense%20rotated%20second%20moment)\。在输出曲率为对角矩阵的 K-FAC Fisher 假设 (https://huggingface.co/papers?q=K-FAC%20Fisher%20assumption) 下,该估计器能精确恢复 SOAP (https://huggingface.co/papers?q=SOAP) 的稠密二阶矩 (https://huggingface.co/papers?q=dense%20second%20moment),而我们测得的 K-FAC 假设偏离程度 (https://huggingface.co/papers?q=K-FAC%20violation) 仅为 15-20%,对更新的影响可以忽略不计\。我们的实证结果支持以下结论:在不同规模的大语言模型 (LLM) 预训练中,FOAM 的验证损失与强大的 SOAP (https://huggingface.co/papers?q=SOAP) 和 Muon (https://huggingface.co/papers?q=Muon) 基线相当,优化器状态仅为 SOAP (https://huggingface.co/papers?q=SOAP) 的一半,实际运行时间达到 Muon (https://huggingface.co/papers?q=Muon) 级别,并在三倍跨度的学习率范围内保持稳健性\。这些结果在 1.24 亿至 7.6 亿参数的规模上均成立,表明获得 SOAP (https://huggingface.co/papers?q=SOAP) 的收益不一定需要付出 SOAP (https://huggingface.co/papers?q=SOAP) 的成本\。代码:https://github.com/naver-ai/foam

查看 arXiv 页面 (https://arxiv.org/abs/2611.16905)查看 PDF (https://arxiv.org/pdf/2611.16905)GitHub0 (https://github.com/naver-ai/foam)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2611.16905)

在你的智能体中获取这篇论文:

hf papers read 2611\.16905

还没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2611.16905,即可从本页面链接到该模型\。

引用这篇论文的数据集0

没有链接到这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2611.16905,即可从本页面链接到该数据集\。

引用这篇论文的 Space0

没有链接到这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2611.16905,即可从本页面链接到该 Space\。

包含这篇论文的收藏集2

相似文章

SOAP、Muon 及更多:推动LLM预训练规模扩展

arXiv cs.LG

本文改进了高阶优化器 SOAP 和 Muon,用于大规模 LLM 预训练,解决了大批量训练中的不稳定性问题,并引入了一种与 Megatron-LM 兼容的层式分布式优化器。实验表明,在数十亿参数规模下,它们始终优于 AdamW。

COOPA:一种面向运筹学问题的模块化LLM智能体架构

arXiv cs.LG

本文介绍了COOPA,一种面向运筹学问题的模块化LLM智能体架构,它结合了基于迭代置信度的建模、元素级溯源和多求解器路由。在八个LLM主干网络和四个基线的评估中,COOPA在六个主干网络上取得了最佳的宏平均准确率,并在最强基线的基础上提升了最多6.7个百分点。

基于无调度频谱优化的随时训练

arXiv cs.LG

本文介绍了SF-NorMuon,一种无调度频谱优化器,在参数规模达7.72亿的语言模型上匹配或超越调优后的AdamW,并提供了平稳性和长期稳定性的理论保证。