标签
本文提出了AI模型中亚特征传递的两阶段机制，其中优化器状态传输源扰动，后续训练决定其行为价值。
本文通过实验证明，在GaLore等低秩训练方法中，梯度的前r维子空间除了一个小的可复现核心外是不可辨识的，估计器噪声主导了表观旋转。文章分析了这对优化器状态传输的影响，并引入了LDAdam，它在困惑度上优于GaLore。