标签
本文介绍了Iso-LoRA,一种通过在切空间扰动上进行谱下降来促进奇异方向上均匀能量分布的优化器,从而增强LoRA,提高语言模型适配中的有效秩和下游性能。
本文介绍了SF-NorMuon,一种无调度频谱优化器,在参数规模达7.72亿的语言模型上匹配或超越调优后的AdamW,并提供了平稳性和长期稳定性的理论保证。
本文指出了Dion低秩谱优化器中的几何失配,并提出了Orth-Dion,该方案用QR正交化替换列归一化,以在相同通信成本下弥合与Muon等全秩方法的收敛差距,并在大规模语言模型预训练中进行了验证。