Glow：更优的可逆生成模型

# Glow：更好的可逆生成模型 来源：https://openai.com/index/glow/ 我们的主要贡献，也是与早期 RealNVP 工作的不同之处在于添加了可逆的 1x1 卷积，以及移除了其他组件，从而简化了整个架构。 RealNVP 架构由两种类型层的序列组成：具有棋盘掩膜的层和具有通道掩膜的层。我们移除了具有棋盘掩膜的层，从而简化了架构。具有通道掩膜的层执行以下步骤的重复等效操作： 1. 通过反转通道维度上的顺序来置换输入。 2. 沿特征维度的中点将输入分成两部分 A 和 B。 3. 将 A 馈送到浅卷积神经网络。根据神经网络的输出线性变换 B。 4. 连接 A 和 B。 通过链接这些层，A 更新 B，然后 B 更新 A，然后 A 更新 B，以此类推。这种二部图信息流显然相当刚性。我们发现通过将第 1 步中的反向置换改为*固定的*混洗置换，模型性能会得到改善。 更进一步，我们还可以*学习*最优置换。学习置换矩阵是一个离散优化问题，不适用于梯度上升。但是由于置换操作只是具有方阵的线性变换的特殊情况，我们可以通过卷积神经网络使其工作，因为置换通道等价于具有相等数量输入和输出通道的 1x1 卷积操作。因此，我们用学习的 1x1 卷积操作替换了固定置换。1x1 卷积的权重被初始化为随机旋转矩阵。如下图所示，此操作会导致显著的建模改进。我们还证明了通过权重的 LU 分解可以有效地进行优化目标函数的计算。