论文页 - 用于少步扩散蒸馏的连续时间分布匹配

来源: https://huggingface.co/papers/2605.06376 发布于 5月7日

·

提交者 https://huggingface.co/byliutao

liutao (https://huggingface.co/byliutao) 于 5月8日

作者:

,

,

,

,

,

,

,

,

,

摘要

连续时间分布匹配 (Continuous-Time Distribution Matching) 将扩散模型蒸馏从离散优化迁移到连续优化，通过在采样轨迹上任意点进行优化，并结合动态调度和速度场外推，保留了精细的视觉细节。

步骤蒸馏 (Step distillation) 已成为加速扩散模型 (diffusion models) 的主要技术之一，其中分布匹配蒸馏 (Distribution Matching Distillation, DMD) 和一致性蒸馏 (Consistency Distillation) 是两个代表性范式。虽然一致性方法通过强制执行 PF-ODE 轨迹上的自一致性将其引导至干净数据流形，但传统的 DMD 仅依赖于少数预定义离散时间步长的稀疏监督。这种受限的离散时间公式以及反向 KL 散度 (reverse KL divergence) 的模式寻求 (mode-seeking) 特性，往往会导致视觉伪影和输出过平滑，通常需要借助复杂的辅助模块——如 GANs 或奖励模型——来恢复视觉保真度。在本工作中，我们引入了连续时间分布匹配 (Continuous-Time Distribution Matching, CDM)，首次将 DMD 框架从离散锚定迁移到连续优化。CDM 通过两种连续时间设计实现了这一目标。首先，我们用随机长度的动态连续调度替换固定的离散调度，使得分布匹配在采样轨迹上的任意点强制执行，而不仅限于少数固定锚点。其次，我们提出了一种连续时间对齐目标，对通过学生模型速度场外推的潜在表示进行主动的轨迹外匹配，从而提高了泛化能力并保留了精细的视觉细节。在不同架构（包括 SD3-Medium 和 Longcat-Image）上的大量实验表明，CDM 在不依赖复杂辅助目标的情况下，为少步图像生成提供了极具竞争力的视觉保真度。代码可用地址: https://github.com/byliutao/cdm。

查看 arXiv 页面 (https://arxiv.org/abs/2605.06376) 查看 PDF (https://arxiv.org/pdf/2605.06376) 项目页面 (https://byliutao.github.io/cdm_page/) GitHub1 (https://github.com/byliutao/cdm) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.06376)

在您的代理中获取此论文:

hf papers read 2605\.06376

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 2

byliutao/stable-diffusion-3-medium-turbo 文本转图像 • 27分钟前更新 • 4 • 1 (https://huggingface.co/byliutao/stable-diffusion-3-medium-turbo)

byliutao/Longcat-Image-Turbo 26分钟前更新 • 1 (https://huggingface.co/byliutao/Longcat-Image-Turbo)

引用此论文的数据集 0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.06376 以从此页链接它。

引用此论文的空间 0

没有链接此论文的空间

在空间 README.md 中引用 arxiv.org/abs/2605.06376 以从此页链接它。

包含此论文的集合 0

没有包含此论文的集合

将此论文添加到集合 (https://huggingface.co/new-collection) 以从此页链接它。