权重归一化：加速深度神经网络训练的简单重参数化方法

# 权重归一化：一种加速深度神经网络训练的简单重参数化方法 来源：https://openai.com/index/weight-normalization/ OpenAI ## 摘要 我们提出权重归一化：一种神经网络权重向量的重参数化方法，将权重向量的长度与其方向解耦。通过以这种方式重参数化权重，我们改进了优化问题的条件数，并加速了随机梯度下降的收敛。我们的重参数化方法受到批量归一化的启发，但不会在一个小批量中的样本之间引入任何依赖关系。这意味着我们的方法也可以成功应用于循环模型（如 LSTM）以及对噪声敏感的应用（如深度强化学习或生成模型），而批量归一化在这些应用中表现不太理想。虽然我们的方法简单得多，但仍然提供了完整批量归一化的大部分加速效果。此外，我们方法的计算开销较低，允许在相同的时间内执行更多的优化步骤。我们在监督图像识别、生成模型和深度强化学习等应用中展示了我们方法的有效性。