标签
本文提出EMA-FS，一种算法级优化方法，利用每个特征分裂增益的指数移动平均，在GBDT训练过程中仅对Top-K特征选择性构建直方图，通过隐式正则化实现高达2.61倍的加速，同时保持或提升精度。
Reasoning Arena 通过使用追踪锦标赛和Bradley-Terry模型，从非多样化奖励组中生成有意义的梯度，从而改进了基于可验证奖励的强化学习，实现了更快的训练和更好的推理性能。
本文研究了大型语言模型中 On-Policy 蒸馏（OPD）效率背后的参数级机制，将其归因于模块分配和更新方向上的早期“预见性”。本文提出了 EffOPD，一种即插即用方法，可在不损害最终性能的情况下将 OPD 训练速度提高 3 倍。
本文介绍了 Repr-Align，一种通过表征对齐将自回归语言模型适配为扩散语言模型的方法，无需从头重新训练表征即可实现高达 4 倍的训练加速。
该论文介绍了动量 DeltaNet（MDN），一种线性注意力模型。它利用逐步动量和并行算法，在训练效率和性能上超越了 Mamba2 等模型。
OpenAI 提出了权重归一化，一种重参数化技术，通过将权重向量的长度与方向解耦，改进神经网络训练的收敛性和计算效率，且不引入小批次依赖关系，适用于循环神经网络和对噪声敏感的应用场景。