radial-directional

本文介绍了RODE，一种将矩阵更新的径向和方向分量解耦的优化器，在语言建模和图像分类任务中表现出优于Muon变体的性能。