spectrum-preserving

本文介绍了 Pion，这是一种用于大语言模型训练的的新型谱保持优化器。它利用正交等价变换在权重更新过程中维持奇异值，从而提供与标准优化器相当的稳定性能。