PixelCNN++：通过离散化逻辑混合似然函数及其他改进增强 PixelCNN

# PixelCNN++：通过离散化逻辑混合似然函数及其他改进来增强 PixelCNN 来源：https://openai.com/index/pixelcnn-plus-plus/ ## 摘要 PixelCNN 是最近提出的一类强大的生成模型，具有可求迹的似然函数。在本文中，我们讨论了我们的 PixelCNN 实现，并将其发布在 https://github.com/openai/pixel-cnn（在新窗口中打开）。我们的实现包含了对原始模型的多项修改，这些修改既简化了模型结构，又改进了性能。1）我们在像素上使用离散化逻辑混合似然函数，而不是 256 路 softmax，这样可以加快训练速度。2）我们基于整个像素而不是 R/G/B 子像素进行条件化，简化了模型结构。3）我们使用下采样来有效地捕获多个分辨率的结构。4）我们引入了额外的短路连接以进一步加快优化速度。5）我们使用 dropout 对模型进行正则化。最后，我们在 CIFAR-10 上展示了最先进的对数似然结果，以证明这些修改的有效性。