标签
论文提出了 Ori，一种受 Oja++ 启发的漂移感知流式 k-PCA 低秩优化器，用于 LLM 训练。它以极低的每步开销跟踪不断变化的主梯度方向，在 1B LLaMA 预训练中将与全秩优化器之间的性能差距最多缩小了 69.3%，并在 16 个 RoBERTa-Base 微调场景中的 10 个场景中取得了最佳性能。