eDMD:面向少步扩散蒸馏的端点分布匹配

Hugging Face Daily Papers 论文

摘要

eDMD 提出端点分布匹配蒸馏(Endpoint Distribution Matching Distillation),仅在学生的最终输出上训练一个共享的 fake 模型,并加入精确的教师监督,从而在 SD3-Medium、FLUX.2-klein 和 Qwen-Image-2.1 上实现了更好的 4 步扩散蒸馏效果。

分布匹配蒸馏(Distribution Matching Distillation, DMD)已成为将扩散模型蒸馏为少步学生的主流范式:一个辅助的 fake score 模型追踪学生的分布,教师与 fake 预测之间的差异驱动学生向教师靠拢。在多步蒸馏中,尽管只有学生的最终输出被交付,现有方法却在中间状态或所有去噪步上训练 fake 模型。因此,学生的更新信号与中间分布纠缠在一起,这可能扭曲匹配方向,并且即使学生的最终输出已经与教师分布匹配,该信号仍不为零。为解决这种错位问题,我们提出端点分布匹配蒸馏(Endpoint Distribution Matching Distillation, eDMD),它仅在学生的最终输出上训练一个共享的 fake 模型,并用它来校正每一个去噪步。我们的理论分析证明,这一端点参考保证了:无论中间分布如何,分布匹配项消失当且仅当学生的最终输出分布与教师的分布匹配。除了 fake 参考之外,我们还通过精确教师(precise teacher, PT)进一步强化教师监督,它在最终噪声区间上以短的多步轨迹替代单步引导预测,并为中间步配以校准过的查询密度。在 SD3-Medium、FLUX.2-klein(4B 和 9B)以及 Qwen-Image-2.1 上的实验表明,对于 4 步生成,eDMD 始终优于现有的分布匹配方法。
查看原文
查看缓存全文

缓存时间: 2026/11/16 16:14

论文页面 - eDMD:用于少步扩散蒸馏的端点分布匹配

来源:https://huggingface.co/papers/2611.17194

摘要

端点分布匹配蒸馏(Endpoint Distribution Matching Distillation)仅在最终学生输出上训练一个共享的 fake 模型,并加入精确的教师监督,从而更好地将少步扩散学生与教师分布对齐,实现 4 步生成。

分布匹配蒸馏(Distribution matching distillation,https://huggingface.co/papers?q=Distribution%20matching%20distillation)(DMD)已成为将扩散模型(https://huggingface.co/papers?q=diffusion%20models)蒸馏为少步学生(https://huggingface.co/papers?q=few-step%20students)的主流范式:其中辅助的 fake score 模型(https://huggingface.co/papers?q=fake%20score%20model)跟踪学生的分布,而教师与 fake 预测之间的差异驱动学生向教师靠拢。在多步蒸馏(https://huggingface.co/papers?q=multi-step%20distillation)中,尽管只有学生的最终输出被使用,现有方法却在中间状态或所有去噪步(https://huggingface.co/papers?q=denoising%20steps)上训练 fake 模型。因此,学生的更新信号会与中间分布(https://huggingface.co/papers?q=intermediate%20distributions)纠缠在一起,这可能会扭曲匹配方向,并且即使学生的最终输出(https://huggingface.co/papers?q=final%20outputs)已经匹配教师分布后仍然不为零。为解决这一不匹配问题,我们提出了端点分布匹配蒸馏(Endpoint Distribution Matching Distillation,https://huggingface.co/papers?q=Endpoint%20Distribution%20Matching%20Distillation)(eDMD,https://huggingface.co/papers?q=eDMD),它仅在学生的最终输出(https://huggingface.co/papers?q=final%20outputs)上训练一个单一的共享 fake 模型(https://huggingface.co/papers?q=shared%20fake%20model),并用它来修正每一个去噪步。我们的理论分析证明,这种端点参考保证了分布匹配项(https://huggingface.co/papers?q=distribution%20matching%20term)当且仅当学生的最终输出分布与教师匹配时才消失,而与中间分布(https://huggingface.co/papers?q=intermediate%20distributions)无关。除了 fake 参考之外,我们还通过精确教师(precise teacher,https://huggingface.co/papers?q=precise%20teacher)(PT)进一步加强了教师监督(https://huggingface.co/papers?q=teacher%20supervision),该方法用最终噪声区间(https://huggingface.co/papers?q=final%20noise%20interval)上的短多步轨迹(https://huggingface.co/papers?q=multi-step%20trajectories)替换单步引导预测(https://huggingface.co/papers?q=single-step%20guided%20predictions),并配合用于中间步的校准查询密度(https://huggingface.co/papers?q=calibrated%20query%20density)。在 SD3-Medium、FLUX.2-klein(4B 和 9B)以及 Qwen-Image-2.1 上的实验表明,eDMD(https://huggingface.co/papers?q=eDMD)在 4 步生成(https://huggingface.co/papers?q=4-step%20generation)任务上始终优于现有的分布匹配方法。

查看 arXiv 页面(https://arxiv.org/abs/2611.17194)查看 PDF(https://arxiv.org/pdf/2611.17194)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2611.17194)

在你的 agent 中获取这篇论文:

hf papers read 2611.17194

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 1

zttzzt/eDMD Text-to-Image • 3 天前更新 • 3(https://huggingface.co/zttzzt/eDMD)

引用本文的数据集 0

没有数据集链接本文

在数据集 README.md 中引用 arxiv.org/abs/2611.17194 即可从此页面链接。

引用本文的 Spaces 0

没有 Space 链接本文

在 Space README.md 中引用 arxiv.org/abs/2611.17194 即可从此页面链接。

包含本文的合集 0

没有合集包含本文

将本文添加到合集(https://huggingface.co/new-collection)即可从此页面链接。

相似文章

用于无数据扩散蒸馏的一致分布匹配

Hugging Face Daily Papers

论文提出 Consistent Distribution Matching (CDMD),通过在单一学生网络内统一样本生成与速度估计,实现无需辅助 fake-score 网络的数据自由扩散蒸馏,在 ImageNet 256×256 上以 1 NFE 达到 2.04 FID,优于 DMD2 等基线,并给出基于 Wasserstein 收敛的理论分析。

改进的分布扩散模型(Improved Distributional Diffusion Models)

Hugging Face Daily Papers

本文提出了改进的分布扩散模型(iDDM),通过后期粒子扩展与时间依赖的评分规则调度克服了 DDM 的扩展性限制,在 ImageNet-256 上使用 DiT-XL/2,以单阶段从零开始的训练(无需教师模型或自蒸馏)在 4 步采样时达到 4.48 FID,50 步时达到 2.38 FID。

用于少步扩散蒸馏的连续时间分布匹配

Hugging Face Daily Papers

本文介绍了连续时间分布匹配(CDM),这是一种用于少步扩散蒸馏的方法,它通过将优化过程从离散迁移到连续,提高了视觉保真度并保留了精细细节。

DMAD:将分布匹配重构为对抗蒸馏以实现快速视觉生成

Papers with Code Trending

DMAD(Distribution Matching as Adversarial Distillation)将分布匹配重构为一个分类问题,通过判别器头学习对数密度比,从而在无需辅助分数拟合的情况下训练少步学生模型以实现快速视觉生成。它取得了最先进的结果,包括在 ImageNet-64x64 上单步生成达到 FID 1.04,以及在四步生成 Wan2.1-T2V-14B 上 VBench 得分为 85.15。