weight-normalization

该论文指出，权重归一化（WN）训练的收益主要源于其诱导出的有效学习率（ELR）轨迹，而非归一化本身，并据此提出 AIR（仿射平方根倒数衰减）调度策略。在 1280 亿词元的混合专家模型（MoE）预训练实验中，AIR 在训练损失、下游性能和超参数鲁棒性方面均优于余弦退火等调度方案。

OpenAI 提出了权重归一化，一种重参数化技术，通过将权重向量的长度与方向解耦，改进神经网络训练的收敛性和计算效率，且不引入小批次依赖关系，适用于循环神经网络和对噪声敏感的应用场景。