标签
本文分析了自注意力模型中查询-键回路和输出-值回路的参数化如何影响训练过程中的注意力锐度。通过梯度流分析，作者表明，相对于输出-值学习，更快的查询-键学习会产生更锐利的注意力，从而提高可解释性，同时不牺牲预测性能。
这篇理论论文提出了一种驱动成核速率定律，用于解释语言模型中的能力涌现、可塑性丧失和电路控制，并通过在Pythia和一个受控的门控注意力模型上的实验加以支持。
本文认为，Hessian矩阵的主导子空间虽然对减少损失贡献甚微，但在小批量SGD中降低锐度方面起着关键作用。文章推导了由主导方向上的小批量噪声引起的锐度校正项。
这份预印本揭示，在特定的数据对称性下，LLM的训练动态可以简化为一个低维子空间，从而使分析更易处理且更具可解释性，每个坐标都对应一个清晰的机制。
本文识别出低精度训练中的一种确定性、可预测的冻结现象：当梯度下降权重更新低于权重最后一位单位的一半时，该更新被舍入消失，对应坐标冻结，而梯度仍为非零。该冻结由每坐标半ULP条件决定，且仅需高精度轨迹和目标尾数长度即可预测，无需低精度数据。在一个使用标准AdamW加余弦退火方案、权重以bf16等价精度存储的小型GPT模型中，训练正常进行，然后在中期之后永久冻结——与先验预测相差不超过四个步骤。在一个1.24亿参数的GPT-2变压器中，每次优化器步骤后权重被约束到8位浮点网格，无主权重，密集权重在两个fp8格式下均在初始化时冻结——从fp32参考先验预测——验证损失停滞，而全精度持续提升。随机舍入消除了持久冻结，同一参考也预测了这一点。该条件可迁移至冻结特征回归、跨128倍精度的尾数截断仿真器、小网络以及MNIST上的CNN：这是一个可计算的低精度训练轴，而非扩散噪声。
提出一个GRPO训练动力学的闭式降阶模型，将其简化为阻尼振荡器，并推导出关于稳定性、组大小不变性和损失曲率的预测。在多个模型和基准上进行了验证。
本文提出了一个token级别的框架，表明语言模型损失中的幂律缩放来源于单个token的S形学习曲线的聚合，并证明根据token学习时间重塑训练分布可以将验证损失降低11%。
本文提出了微调回归的引力解释：早期训练形成了占主导地位的行为流形，后续的对齐只轻微地偏移它，从而产生了一个持久的回归方向。实验表明，阻止该方向能以极小的任务成本降低有害性。
本文研究了软件缺陷预测中神经网络的训练动态如何受到类不平衡和类重叠等耦合数据质量问题的影响，并提出了一种交互感知的实证协议。
论文指出重复不匹配是数据混合实验无法扩展的主要原因，并提出了一种重复控制子采样程序，使得小规模实验能够使用远少于原先的token数量恢复出接近最优的混合方案。
这篇立场论文认为，对AI的科学理解必须超越事后分析，转而研究塑造模型行为的训练动态，这对于预测、干预和设计训练过程以获取期望特性（如能力和安全性）具有重要意义。
本文刻画了大语言模型中同策略蒸馏（OPD）独特的参数空间动力学，表明其具有松弛的非主方向更新和子空间锁定特性，从而与监督微调和基于可验证奖励的强化学习区分开来。
MIT研究人员表明，神经网络训练中的稳定边缘（EoS）不仅仅是一个全局优化现象，而是选择性地在训练分布的子集上重新分配学习，放大某些数据组的进展同时抑制其他组。他们识别出控制这种分配的两个关键条件：梯度与Hessian矩阵最大特征向量的对齐，以及持续非消失的梯度幅度。
文章解释了深度Transformer层中的注意力熵坍缩是训练带来的几何后果，而非Bug，并提出了一个三行温度调度来预防它。
本文推导了两层和三层线性神经网络在一步和两步梯度下降后梯度和测试损失的精确闭式表达式，刻画了最优学习率选择，并揭示了一个独特的早期训练阶段：在该阶段中，初始时不等层学习率是最优的。
本文提供了神经网络在群组合任务中学习结构化表示的理论分析，证明了训练动态驱动神经元以指数收敛速度收敛到不可约群表示。该工作建立了特征学习的表示理论解释，并刻画了矩阵值群表示的低秩压缩现象。
本文引入了“初始化记忆”的概念，研究深度网络中随机初始化偏差在训练后保留了多少，表明低学习率的SGD能保留初始化，而Adam系列优化器则消除它，并将其与遗忘动力学联系起来。
本文提出了一种分布谱诊断方法，用于在测试准确率上升之前定位 Transformer 模型中的 Grokking 相变。该方法利用经验分布和汉克尔动态模态分解（Hankel DMD）创建监测信号，以区分发生 Grokking 和未发生 Grokking 的训练运行。