用于无数据扩散蒸馏的一致分布匹配

Hugging Face Daily Papers 论文
diffusion-models model-distillation data-free-distillation image-generation distribution-matching consistency-training

摘要

论文提出 Consistent Distribution Matching (CDMD)，通过在单一学生网络内统一样本生成与速度估计，实现无需辅助 fake-score 网络的数据自由扩散蒸馏，在 ImageNet 256×256 上以 1 NFE 达到 2.04 FID，优于 DMD2 等基线，并给出基于 Wasserstein 收敛的理论分析。

Flow 和 diffusion 模型由于数值积分计算代价高昂，存在推理速度慢的问题。蒸馏为学生模型从教师模型的动态过程中学习提供了一条有前景的途径，能够实现单步或少步生成。然而，现有方法通常依赖精心构建的蒸馏数据集、代价高昂的教师模型采样轨迹或辅助代理网络，这些都增加了模型训练和扩展的复杂性。在本工作中，我们提出 Consistent Distribution Matching（一致分布匹配），这是一种无需模拟且无需数据的蒸馏方法，能够在加速 diffusion 和 flow 模型的同时保持强大的生成能力。我们的核心思路是使用单一学生网络统一样本生成与 score 估计。因此，我们的框架仅使用两个模型——一个冻结的教师模型和一个可训练的学生模型，并只优化一个目标函数。我们证明，最小化该目标函数意味着学生 flow-map 推前分布向教师边缘分布的 Wasserstein 收敛。在 ImageNet 256×256 上，我们的方法在单次函数评估（1-NFE）下达到 2.04 的 FID，且在 40 个训练 epoch 内 4-NFE 达到 1.37 的 FID，超越了现有的最先进无数据蒸馏基线方法。我们的代码和模型已在 https://consistentdmd.github.io/ 开源。
查看原文
查看缓存全文

缓存时间: 2026/10/19 07:27

论文页面 - 面向无数据扩散蒸馏的一致分布匹配

来源: https://huggingface.co/papers/2610.09221

很高兴与大家分享我们在 Consistent Distribution Matching 上的工作！🚀

受 Distribution Matching Distillation（DMD）和 Score Identity Distillation（SiD）的启发，我们提出了一个简单的问题：我们能否在不训练辅助 fake-score 网络的情况下实现分布匹配？

我们的答案是：可以！

CDMD 在此基础上更进一步，将样本生成与速度估计统一在同一个学生网络中。这为我们带来了一个简洁得多的蒸馏框架：

一个冻结的 teacher + 一个可训练的学生 + 一个目标函数。

在我们的无数据（data-free）设定下，无需外部训练数据、teacher 轨迹模拟或辅助 score 网络。

更强的生成性能：在 ImageNet 256×256 上，1 NFE 时 FID 为 2.04，超越了已评测的无数据基线（DMD2：FID 3.43）。

接近 teacher 的质量：4 NFE 时 FID 为 1.37，已接近 teacher 的 1.35 FID。

我们还通过 Wasserstein 收敛性，提供了将我们的 consistency 目标与分布匹配联系起来的理论见解。

我们的结论是：有效的分布匹配不必依赖复杂的多网络优化。

我们非常期待听到您的想法与反馈！

相似文章

改进的分布扩散模型（Improved Distributional Diffusion Models）

Hugging Face Daily Papers

本文提出了改进的分布扩散模型（iDDM），通过后期粒子扩展与时间依赖的评分规则调度克服了 DDM 的扩展性限制，在 ImageNet-256 上使用 DiT-XL/2，以单阶段从零开始的训练（无需教师模型或自蒸馏）在 4 步采样时达到 4.48 FID，50 步时达到 2.38 FID。

DMAD：将分布匹配重构为对抗蒸馏以实现快速视觉生成

Papers with Code Trending

DMAD（Distribution Matching as Adversarial Distillation）将分布匹配重构为一个分类问题，通过判别器头学习对数密度比，从而在无需辅助分数拟合的情况下训练少步学生模型以实现快速视觉生成。它取得了最先进的结果，包括在 ImageNet-64x64 上单步生成达到 FID 1.04，以及在四步生成 Wan2.1-T2V-14B 上 VBench 得分为 85.15。

简化并改进用于少步扩散的同策略蒸馏

Hugging Face Daily Papers

提出简化匹配蒸馏（SMD）框架，通过纯回归的同策略速度回归与Pivot残差代理，实现无需辅助评分模型或对抗训练的4步少步扩散生成，在图像、3D、视频及音视频联合生成任务上超越强基线，并可扩展至330亿参数。

用于少步扩散蒸馏的连续时间分布匹配

Hugging Face Daily Papers

本文介绍了连续时间分布匹配（CDM），这是一种用于少步扩散蒸馏的方法，它通过将优化过程从离散迁移到连续，提高了视觉保真度并保留了精细细节。