gradient-noise

本文从理论上证明，在WSD调度中学习率冷却是否有益取决于梯度噪声的结构以及优化器是否对其更新进行归一化，从而解释了为什么冷却对SGD无效但对归一化方法却是必要的。

对Perlin噪声的详细解释及其在ClojureScript中的实现，包括代码片段和移动水丝的动画。

# AI 训练如何实现扩展 来源：[https://openai.com/index/how-ai-training-scales/](https://openai.com/index/how-ai-training-scales/) 我们发现梯度噪声尺度（一个简单的统计指标）可以预测神经网络在广泛任务上的训练可并行性。由于复杂任务往往具有更高的梯度噪声，越来越大的批大小在未来可能会变得有用，从而消除了 AI 系统进一步增长的一个潜在瓶颈。更广泛地说，这些结果表明神经网络训练无需被视为神秘的艺术，而可以被严格化和系统化。