training-acceleration

OpenAI 提出了权重归一化，一种重参数化技术，通过将权重向量的长度与方向解耦，改进神经网络训练的收敛性和计算效率，且不引入小批次依赖关系，适用于循环神经网络和对噪声敏感的应用场景。