optimizer

该论文提出了 Muon-RT，这是 Muon 优化器的一种无动量变体，它复用大语言模型自蒸馏中 EMA 教师模型与学生模型之间的权重位移，无需单独的动量缓冲区，同时在 Qwen2.5-7B 和 Olmo-3-7B 上提高了准确率，并减少了训练期间的持久内存占用。

FARO 是一种函数空间自适应优化器，它根据每个参数块的反事实回报为其分配几何结构，并通过跨块等风险贡献重新分配各块的更新预算，在达到 NorMuonAndAdam 等人工设计方案效果的同时，在 GPT 风格的训练中实现稳健的小幅损失下降。

一位开发者分享了 ApexW，这是一款实验性的 PyTorch 优化器，采用紧凑的优化器状态和基于 Triton 的执行路径，声称在大张量工作负载下，优化器步骤的执行速度约为原来的 1.5 倍，优化器状态内存占用减半——同时也坦言，在包含大量小张量的模型上会出现性能下降，且端到端性能提升微乎其微。

RSI-Opt 通过元智能体在多次训练运行间累积并进化优化器策略（提示、流程、代码库与决策节奏），显著提升 LLM 优化器智能体在模型训练与科学机器学习任务上的性能，并支持跨模型策略迁移。

Tauon 是一种新型优化器，使用多项式和正交化技术，在小型 GPT-Mini 模型的初始基准测试中超越 Muon 和 AdamW，显示出更低的损失和更快的步长时间。

DSPy 3.4.0 已发布，提供对 Jev 和 System One 模型的原生支持，并新增优化器 ReAnchor，用于校准输出置信度。

DSPy 3.4.0 发布了，原生支持 Jev 和 System one 模型，并引入新的优化器 ReAnchor，用于校准输出置信度。

本文介绍了针对人工神经网络的改进优化器QHAdamW，并将其应用于菲律宾的空气质量预报，结果表明该优化器在预测PM2.5和PM10浓度时展现出更优的收敛性与性能。

本文提出了DeltaMomentum，一种基于键值的动量更新规则，它根据输入频率调整遗忘率，在各种规模的神经网络训练中展示了更快的收敛速度。

Dion3 is a revised Muon optimizer that reduces computational and communication overhead via Gram Newton-Schulz, symmetric GEMM kernels, and megabatching, achieving up to 6x faster optimizer steps while matching or improving loss.

本文介绍了MESH，一种用于混合专家（MoE）训练的内存高效Sinkhorn优化器，它在不存储完整优化器状态的情况下恢复时间动量，相比AdamW将内存减少62.5%，同时保持有竞争力的评估损失。

本文提出联合仿射谱整形（JRI），将仅权重的谱优化器（如Muon）扩展到仿射层中联合更新权重和偏置，在BERT-mini IMDb分类任务上显示出小而一致的准确率提升。

一篇新的NVIDIA论文提出，像Muon和SOAP这样的高阶优化器，可以作为大规模LLM预训练中AdamW的更高效替代方案。

本文引入了CvAdamW，一种AdamW变体，它通过监测注意力比热来检测顿悟相变，并动态调整权重衰减，在基线失败的模算术任务上实现了顿悟。

SkewAdam是一种分层优化器，可将MoE状态内存使用量减少97%，从而使得6.7B MoE模型能够适配单个40GB GPU。

介绍了PsiLogic，一种基于梯度不稳定性动态阻尼项增强Adam的混沌感知优化器，并提出了FairBench以实现可复现评估。在NLP、ViT和ResNet任务上展示了具有竞争力或更优的结果，并对局限性保持完全透明。

SkewAdam是一种针对混合专家模型的新型优化器，它分层分配优化器状态至骨干网络、专家和路由器，将内存占用降至AdamW的2.6%，同时在受控对比中实现了更优的验证困惑度。

本文研究了Muon优化器在强化学习后训练中的应用，发现在ALFRED任务中，将Muon应用于隐藏权重矩阵相比AdamW显著提高了成功率，且结果依赖于优势估计器和学习率。

本文评估了Muon优化器在低秩矩阵分解上的表现，发现它并未持续优于AdamW，从而对早期关于其在大型深度学习中的优势说法提出质疑。

介绍了 M+Adam，一种结合加法更新和乘法更新的新型优化器，使得在 BF16、FP8 或 FP4 主权重下对大语言模型进行有效的低精度训练成为可能，避免了标准优化器的失效模式。