神经语言模型的缩放规律

# 神经语言模型的缩放规律 来源：https://openai.com/index/scaling-laws-for-neural-language-models/ ## 摘要 我们研究了语言模型在交叉熵损失上的经验缩放规律。损失与模型大小、数据集大小和训练计算量呈幂律关系，某些趋势跨越七个以上的数量级。网络宽度或深度等其他架构细节在很大范围内的影响最小。简单的方程式刻画了过拟合对模型/数据集大小的依赖关系，以及训练速度对模型大小的依赖关系。这些关系使我们能够确定固定计算预算的最优分配。较大的模型在样本效率上明显更优，因此最优的计算高效训练涉及在相对适度的数据量上训练非常大的模型，并在收敛前显著停止训练。