标签
该论文研究在数据有限但算力充裕场景下的重复数据预训练，发现小批量通过梯度噪声提供隐式正则化，并在固定时间预算下小批量+少GPU可取得更低验证损失，挑战了常见的增大并行度以最大化GPU利用率的做法。
本文表明，对于Muon优化器，不存在能在各种训练设置中一致适用的、有原则的批量大小缩放规则；即使经过大量调优，语言模型预训练的最佳优化器仍会随批量大小变化，因此优化器的设计与基准测试必须将批量大小纳入考量。
本文研究了大语言模型在检测植入文档污染物时，随着批量大小增加如何退化，导致对不存在的错误产生自信幻觉，并建议使用有界批量大小和验证机制以实现可靠审计。
来自 LLM工程师年鉴 的屋顶线模型估计了在不同模型和硬件上，不同草稿长度下投机解码的加速效果，并附注指出，当开销显著时，该模型可能低估收益。
提出了一种三项缩放定律，将模型大小、训练步数和批次大小解耦，使得用更少的运行次数即可进行稳健拟合，并推导出次优批次大小的缩放定律。
# AI 训练如何实现扩展 来源：[https://openai.com/index/how-ai-training-scales/](https://openai.com/index/how-ai-training-scales/) 我们发现梯度噪声尺度（一个简单的统计指标）可以预测神经网络在广泛任务上的训练可并行性。由于复杂任务往往具有更高的梯度噪声，越来越大的批大小在未来可能会变得有用，从而消除了 AI 系统进一步增长的一个潜在瓶颈。更广泛地说，这些结果表明神经网络训练无需被视为神秘的艺术，而可以被严格化和系统化。