标签
本文介绍了RODE，一种将矩阵更新的径向和方向分量解耦的优化器，在语言建模和图像分类任务中表现出优于Muon变体的性能。
Zeta 提出了一种双白化优化器，它首先应用坐标白化，再进行谱白化，以解决动量矩阵中的尺度异质性，从而降低正交化误差，并在大规模神经网络训练中改善收敛速度和泛化性能。