标签
来自 LLM工程师年鉴 的屋顶线模型估计了在不同模型和硬件上，不同草稿长度下投机解码的加速效果，并附注指出，当开销显著时，该模型可能低估收益。
提出了一种三项缩放定律，将模型大小、训练步数和批次大小解耦，使得用更少的运行次数即可进行稳健拟合，并推导出次优批次大小的缩放定律。
# AI 训练如何实现扩展 来源：[https://openai.com/index/how-ai-training-scales/](https://openai.com/index/how-ai-training-scales/) 我们发现梯度噪声尺度（一个简单的统计指标）可以预测神经网络在广泛任务上的训练可并行性。由于复杂任务往往具有更高的梯度噪声，越来越大的批大小在未来可能会变得有用，从而消除了 AI 系统进一步增长的一个潜在瓶颈。更广泛地说，这些结果表明神经网络训练无需被视为神秘的艺术，而可以被严格化和系统化。