optimization-dynamics

本文通过分析不同难度水平间的优化动态，研究大语言模型中的课程学习，并提出一种名为迁移感知动态课程采样（TDCS）的新方法，该方法基于迁移关系动态调整训练数据。

本文在大规模语言模型预训练中发现了一种称为奇异性分布稳定性（SoSD）的谱现象，其中奇异值谱在早期就趋于稳定，而参数仍在持续演化。作者证明，这种稳定标志着训练进入慢速下降阶段，并分析了WSD和Muon等训练策略如何影响这一行为。