改进的一致性模型训练技术

# 改进的一致性模型训练技术 来源：https://openai.com/index/improved-techniques-for-training-consistency-models/ OpenAI 一致性模型是一类新兴的生成模型，能够在一步内采样出高质量数据，无需对抗训练。当前的一致性模型通过从预训练扩散模型蒸馏并采用 LPIPS 等学习指标来实现最优采样质量。然而，蒸馏会将一致性模型的质量限制在预训练扩散模型的水平，而 LPIPS 会在评估中引入不良偏差。为了解决这些挑战，我们提出了改进的一致性训练技术，使一致性模型能够直接从数据中学习，无需蒸馏。我们深入研究了一致性训练背后的理论，发现了一个之前被忽视的缺陷，并通过从教师一致性模型中消除指数移动平均来解决这个问题。为了替代 LPIPS 等学习指标，我们采用了来自鲁棒统计学的伪 Huber 损失函数。此外，我们为一致性训练目标引入了对数正态噪声调度，并提议在每次设定数量的训练迭代后将总离散化步数翻倍。结合更好的超参数调优，这些改进使一致性模型在单步采样中在 CIFAR-10 和 ImageNet 64×64 上分别达到 2.51 和 3.25 的 FID 分数。这些分数相比之前的一致性训练方法分别提高了 3.5 倍和 4 倍。通过两步采样，我们进一步将这两个数据集上的 FID 分数降低到 2.24 和 2.77，在单步和两步设置中都超越了蒸馏的结果，同时缩小了一致性模型与其他最先进生成模型之间的差距。