optimizers

一篇介绍「反应式优化器」的研究文章：一个智能体在训练过程中观察训练动态，并重写优化器的源代码。在图像和语言任务上，它能够匹配甚至超越精心调优的最佳方案，同时自主防止梯度尖峰和过拟合。该方法已通过开源 OPAL 包发布。

该论文研究了分布式大语言模型训练中内部优化器如何影响副本扩展，识别出伪梯度协方差结构与噪声尺度两个关键因素，并从理论和实证上证明，基于白化的预条件优化器能够实现最强的工作节点扩展性能。

论文研究了大语言模型在可验证奖励强化学习（RLVR）下的优化几何特性，发现梯度能量会逐渐集中到不断收缩的有效子空间中，进而提出自适应秩优化器Ares，根据梯度谱能量分布动态调整更新秩，在多个模型规模和RLVR任务上取得优于主流优化器的表现。

论文提出了 chained LMOs 框架，将 Muon 系列优化器统一为线性最小化 oracle 的组合，并提出新优化器 TensorChain，在 Qwen3 0.6B/1.7B 预训练中相比 Muon 平均节省 9.6% 的 token。

该论文提出了 Spectrally Targeted Muon，通过仅对超过或低于阈值的奇异值进行正交化，在 SGD 和 Muon 之间进行插值，并在 CIFAR-10 与 NanoGPT speedrun 上分析了 Muon 成功的真正原因：其关键在于放大过小的奇异方向，而非抑制较大的方向。

本文表明，对于Muon优化器，不存在能在各种训练设置中一致适用的、有原则的批量大小缩放规则；即使经过大量调优，语言模型预训练的最佳优化器仍会随批量大小变化，因此优化器的设计与基准测试必须将批量大小纳入考量。

文章报道了OpenRSI的Marin-Scaling-Ladder实验的初步结果，其中AI代理自主提出、实现和评估新的优化器，跨越从550M到2.5B的模型规模，发现了PSPR和Codex (GPT-5.6)。

PyTorch Conference North America 宣布，设有关于 Muon 和 TorchJD 等新优化器、fastsafetensors 和 LMCache 等工具的会议环节，演讲者来自主要科技公司和机构，将于 10 月 20 日至 21 日在圣何塞举行。

一篇关于在 PyTorch Conference North America 上演讲的公告，涵盖 Muon、Dion 和 Dion3 优化器在训练栈中的实际应用。

本文对用于求解逆问题的各种优化器进行基准测试，比较它们在不同物理领域和问题类型上的性能，为优化器的选择和设计提供见解。

一个项目，可视化了不同优化算法的梯度下降，有助于理解机器学习中优化器的工作原理。

表达了一种观点：太多精力被花费在让优化器略微更快上，而真正需要的是无超参数的优化器。

本文介绍了 SODA，这是乐观对偶平均化的一种广义形式，统一了 Muon 和 Lion 等现代优化器。该研究提出了一种实用包装器，在不同规模下均可提升性能，且无需为权重衰减进行额外的超参数调优。

Tilde Research 推出了 Aurora，这是一种新型优化器，旨在在保持正交性的同时防止 MLP 层中的神经元死亡，在 nanoGPT 基准测试中取得了最新成果，并在 1B 模型上实现了 100 倍的数据效率。