optimizer

本文介绍了 Pion，这是一种用于大语言模型训练的的新型谱保持优化器。它利用正交等价变换在权重更新过程中维持奇异值，从而提供与标准优化器相当的稳定性能。

Tilde Research 发现 Muon 优化器存在导致 MLP 神经元早期死亡的缺陷，并开源了替代方案 Aurora。Aurora 在保持正交性的同时解决了神经元死亡问题，显著提升了训练效率。

AdaPreLoRA 是一种新颖的 LoRA 优化器，它利用 Adafactor 对角 Kronecker 预条件来改进因子空间更新，同时保持低内存占用，在各种大语言模型（LLM）和任务中表现出具有竞争力的性能。