标签
论文提出了 Ori，一种受 Oja++ 启发的漂移感知流式 k-PCA 低秩优化器，用于 LLM 训练。它以极低的每步开销跟踪不断变化的主梯度方向，在 1B LLaMA 预训练中将与全秩优化器之间的性能差距最多缩小了 69.3%，并在 16 个 RoBERTa-Base 微调场景中的 10 个场景中取得了最佳性能。
一项关于大语言模型涌现性错位的机理研究表明，方向性 Hessian 曲率集中在语义枢轴词元上，而有害-安全子空间的偏离是导致失效的关键因素；作者提出了一种几何缓解框架，通过正交投影剔除有害梯度子空间，在 Qwen2.5-14B-IT 上将涌现性错位抑制了最高 80%。
本文通过实验证明，在GaLore等低秩训练方法中，梯度的前r维子空间除了一个小的可复现核心外是不可辨识的，估计器噪声主导了表观旋转。文章分析了这对优化器状态传输的影响，并引入了LDAdam，它在困惑度上优于GaLore。