optimizer-normalization

本文从理论上证明，在WSD调度中学习率冷却是否有益取决于梯度噪声的结构以及优化器是否对其更新进行归一化，从而解释了为什么冷却对SGD无效但对归一化方法却是必要的。