low-rank-training

本文通过实验证明，在GaLore等低秩训练方法中，梯度的前r维子空间除了一个小的可复现核心外是不可辨识的，估计器噪声主导了表观旋转。文章分析了这对优化器状态传输的影响，并引入了LDAdam，它在困惑度上优于GaLore。