muon-optimizer

本文研究了Muon优化器需要多少正交化，提出了一种五步三次牛顿-舒尔茨方案，该方案降低了计算成本，同时在GPT-2 Small和混合MoE/Mamba模型上实现了与更昂贵方法相似的训练质量。

讨论了这样一个发现：所有 softmax/线性注意力变体都可以被插值，并且 Muon 优化器对于 Parallax 超越 Softmax Attention 至关重要。包含论文和代码链接。

SignMuon是一种1位、感知矩阵的分布式训练优化器，它结合了signSGD的多数投票符号聚合与Muon的极坐标步骤框架，在float32基础上实现32倍带宽缩减，同时在CIFAR-10/ResNet-50和nanoGPT等基准测试上保持强大的收敛性和性能。