AI 训练如何实现扩展

# AI 训练如何扩展 来源：https://openai.com/index/how-ai-training-scales/ 我们发现梯度噪声尺度（一个简单的统计指标）能预测神经网络在广泛任务上的并行化能力。由于复杂任务往往具有更高的梯度噪声，越来越大的批量大小可能在未来变得有用，这消除了进一步扩展 AI 系统的一个潜在限制。更广泛地说，这些结果表明神经网络训练不必被视为神秘的艺术，而是可以严格化和系统化。 我们在梯度噪声尺度中观察到了几个模式，这些模式提示了 AI 训练的未来可能走向。 首先，在我们的实验中，噪声尺度在训练过程中通常会增加一个数量级或更多。直观地说，这意味着网络在训练早期学习到任务中更"明显"的特征，而在后期学习更复杂的特征。例如，在图像分类的情况下，网络可能首先学习识别大多数图像中存在的小规模特征（如边缘或纹理），只有在后期才将这些片段组合成更一般的概念（如猫和狗）。要看到各种边缘或纹理，网络只需要看到少量图像，所以噪声尺度较小；一旦网络对更大的物体有了更多了解，它就可以一次处理更多图像而不会看到重复数据。 我们看到一些初步迹象（https://arxiv.org/pdf/1812.06162.pdf）表明，同一数据集上不同模型之间也存在相同的效应——更强大的模型有更高的梯度噪声尺度，但这仅仅是因为它们达到了更低的损失。因此，有证据表明训练过程中梯度噪声尺度的增加不仅仅是收敛的假象，而是发生在模型变得更好的时候。如果这是真的，那么我们预计未来更强大的模型将具有更高的噪声尺度，因此具有更好的并行化能力。 其次，主观上更困难的任务也更易于并行化。在监督学习的背景下，有一个从 MNIST 到 SVHN 再到 ImageNet 的明确进展。在强化学习的背景下，有一个从 Atari Pong（https://blog.openai.com/dota-2/）到 Dota 1v1 再到 Dota 5v5（https://blog.openai.com/openai-five/）的明确进展，最优批量大小相差超过 10,000 倍。因此，当 AI 推进到新的更困难的任务时，我们预计模型能够接受更高的批量大小。