标签
介绍了 M+Adam,一种结合加法更新和乘法更新的新型优化器,使得在 BF16、FP8 或 FP4 主权重下对大语言模型进行有效的低精度训练成为可能,避免了标准优化器的失效模式。
LionVote 为Lion优化器引入了一种逐层学习率自适应机制,利用梯度方向稳定性和动量健康诊断,并辅以投票系统。与标准Lion和AdamW相比,它在ViT-Tiny/CIFAR-100上实现了更高的准确率。
该论文介绍了 MoFO,一种动量过滤优化器,通过仅更新具有大动量幅值的参数来缓解 LLM 微调中的遗忘问题,无需额外存储即可保留预训练知识。
Nous Research推出了Psyche,这是一种去中心化基础设施,用于在分布式异构硬件上训练大型语言模型,采用新型优化器DeMo和DisTrO大幅降低通信开销。
本文介绍了 Ember,一种用于嵌入矩阵和语言模型头矩阵的轻量级优化器,它利用梯度几何来提高监督微调、强化学习和预训练中的效率和性能,同时使用的优化器状态远少于 Adam。
Aurora是一种杠杆感知的谱优化器,通过强制执行行均匀性同时保留Muon更新的极因子几何结构来解决MLP层中的神经元死亡问题,在modded-nanoGPT speedrun基准上实现了最先进的性能。
本文挑战了异步流水线并行中一步梯度延迟天生不稳定的假设,表明性能下降取决于优化器的选择。研究证明,Muon等优化器对一步延迟具有鲁棒性,并引入了一种基于误差反馈的修正方法以进一步缓解陈旧的梯度问题,在高达10B参数的LLM预训练中实现了接近同步训练的性能。
本文介绍了持续IVON(CoVON)优化器,它将快速和慢速适应整合到变分持续学习中,以平衡稳定性和可塑性,在领域增量学习、持续预训练以及大型语言模型的微调中优于现有方法。
这篇博客文章介绍了幅度-方向(MD)解耦方法,该方法将神经网络权重矩阵分解为方向分量和幅度分量,并使用独立的学习率进行优化。实验表明,该方法在Adam和Muon优化器上均提升了性能,实现了跨模型宽度的自动学习率迁移,并在大规模混合专家模型中展现了缩放优势。
Zeta 提出了一种双白化优化器,它首先应用坐标白化,再进行谱白化,以解决动量矩阵中的尺度异质性,从而降低正交化误差,并在大规模神经网络训练中改善收敛速度和泛化性能。
Gefen是一种内存高效的优化器,通过自动共享二阶矩估计并使用学习到的码本量化一阶矩,将AdamW的内存占用减少约8倍,同时保持与AdamW相当的性能。
本文介绍了Muon^p,一种新颖的优化器,采用分数谱幂更新在Muon和梯度下降之间进行插值,提供了理论证明并在十亿参数规模的微调任务上取得了实证收益。
LOTUSPlan 是一个用于基于 LLM 的数据处理的新 API 和优化器,通过惰性执行和全局规划,可将成本降低最多 2.4 倍,准确率提升 4.6 倍。由伯克利和斯坦福开发,支持代理轨迹分析、RAG 和文档提取等任务。
本文介绍了Gram Newton-Schulz,这是对Muon优化器中使用的牛顿-舒尔茨正交化过程的一种硬件感知优化,能够在保持模型质量的同时显著加速大型语言模型的训练。
本文首次系统研究了大语言模型训练过程中Muon优化器动量矩阵奇异值谱的行为规律,发现了在不同模型规模(77M至2.8B参数)下清晰的幂律缩放关系。研究结果为从业者提供了有理论依据、感知层级的Newton–Schulz迭代配置指南,在前沿规模下无需额外计算即可保持正交归一化质量。
本文探究了Muon优化器在大型语言模型训练中为何优于Adam,从曲率视角表明Muon因更低的归一化方向锐度而承受更小的曲率惩罚,且其优势因数据不平衡而放大。
本文介绍了MuCon,一种用于大语言模型训练的裁剪Muon优化器,它应用奇异值裁剪而非完全极化,保留较小的奇异值而仅裁剪最大的奇异值。它探索了避免全SVD的近似方法,包括极坐标/绝对值公式和有理牛顿滤波器,并指出了阈值附近的数值挑战。
Riscrithm 是一种用于 RISC-V 的高级宏汇编方言,使用 Go 编写,可将可读代码编译为纯 RISC-V 汇编,并支持可选优化。
本文表明,不同的优化器,尤其是Muon与AdamW,在Transformer模型中引发了不同的光谱缩放行为,其中Muon显著更好地利用了表示容量,并建议优化器的选择应成为缩放定律中的一个首要维度。
本文介绍了Pion,一种新的优化器,它用高通NS迭代取代了Muon的频谱白化,以稳定低秩和低信噪比(low-SNR)条件下的训练,从而在VLA和RLVR任务中实现了更优的性能。