并行解码蒸馏加速图像与视频生成

Hugging Face Daily Papers 论文

摘要

并行解码蒸馏(PDD)是一种基于轨迹的蒸馏方法,通过每次网络评估预测多个去噪步骤来加速图像与视频生成,在 LTX-2.3、Wan14B 和 Qwen-Image 等模型上仅需 4-8 次函数评估即可达到最优性能。

在视频扩散或流模型中,由于缓慢且迭代的采样过程,生成过程计算成本高昂。当前最先进的加速方法严重依赖变分分数蒸馏(VSD)和对抗性损失,将扩散模型蒸馏为少步生成器。尽管能生成高质量视频,但这些训练损失以难以优化著称,且容易出现模式崩溃,导致视频多样性下降和运动缺失。本文提出并行解码蒸馏(PDD),一种简化且可扩展的基于轨迹的蒸馏方法,用于扩散和流匹配模型的快速推理。我们的架构和训练过程与任何预训练模型兼容,并支持可变函数评估次数(NFE)的采样。PDD 通过每次网络评估预测多个去噪步骤来加速生成。从概念上讲,它学习平均速度的表示,而无需使用 JVP 或有限差分近似来回归其导数。我们的方法在 LTX-2.3 文生视频/音频、Wan 14B 文生视频和 Qwen-Image 文生图上以 4-8 次 NFE 达到了最优性能。此外,PDD 在生成视频多样性方面也有显著提升。
查看原文
查看缓存全文

缓存时间: 2026/07/29 11:52

论文页面 - 并行解码蒸馏:快速图像与视频生成

来源:https://huggingface.co/papers/2607.26004

摘要

由于缓慢且迭代的采样过程,基于视频扩散或流模型的生成在计算上非常昂贵。当前最先进的加速方法严重依赖变分分数蒸馏和对抗性损失,将扩散模型蒸馏为少步生成器。尽管这些训练损失能够生成高质量视频,但其优化难度大且易出现模式坍塌,导致视频多样性丧失和运动缺失。本文提出并行解码蒸馏,一种简化且可扩展的基于轨迹的蒸馏方法,用于扩散和流匹配模型的快速推理。我们的架构和训练过程与任何预训练模型兼容,并支持在可变函数评估次数下采样。PDD 通过每轮网络评估预测多个去噪步骤来加速生成。从概念上讲,它学习平均速度的表示,而无需通过 JVP 或有限差分近似回归其导数。我们的方法在 LTX-2.3 文生视频/音频、Wan14B 文生视频和 Qwen-Image 文生图上以 4-8 次函数评估取得了当前最优性能。此外,PDD 在生成视频多样性方面带来了显著改进。

查看 arXiv 页面 (https://arxiv.org/abs/2607.26004)查看 PDF (https://arxiv.org/pdf/2607.26004)项目页面 (https://research.nvidia.com/labs/genair/pdd/)GitHub874 (https://github.com/NVlabs/fastgen)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.26004)

在您的代理中获取本论文:

hf papers read 2607.26004

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到本论文

请在模型 README.md 中引用 arxiv.org/abs/2607.26004 以从本页面链接它。

引用此论文的数据集0

没有数据集链接到本论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.26004 以从本页面链接它。

引用此论文的 Space 空间0

没有 Space 链接到本论文

请在 Space README.md 中引用 arxiv.org/abs/2607.26004 以从本页面链接它。

包含此论文的收藏集0

没有包含此论文的收藏集

请将本论文添加到收藏集 (https://huggingface.co/new-collection)以从本页面链接它。

相似文章

视频生成的并行解码(10分钟阅读)

TLDR AI

NVIDIA推出并行解码蒸馏(PDD)技术,用于加速图像和视频生成,能够以更少的神经函数评估在LTX-2.3和Wan2.1-14B等模型上实现高质量输出。

PiD:基于像素扩散的快速高分辨率潜在解码

Hugging Face Daily Papers

PiD 提出了一种像素扩散解码器,将潜在解码重新定义为条件像素扩散,从而在高分辨率下实现快速、高质量的图像合成,并降低计算需求。在消费级硬件上,它能在不到一秒内将潜在表示解码为 4 倍或 8 倍放大图像。

无需解码器的解码:利用扩散 Transformer 直接预测像素

Hugging Face Daily Papers

该论文提出了无解码器解码(Decoding Without a Decoder,DWD)方法,通过在微调后的扩散 Transformer 中添加一个用于最后一步的线性预测头,移除潜在扩散模型中的解码器,从而降低推理成本,同时在图像和视频生成中保持或提升像素质量。

通过教师对齐的端到端蒸馏实现高保真两步图像生成

Hugging Face Daily Papers

本文介绍了Z-Image Turbo++,这是一个两步图像生成模型,通过使用分布对齐的对抗学习、步骤解耦参数化以及带有迭代正则化的端到端训练,从八步教师模型中蒸馏而来,旨在缩小与多步生成之间的质量差距。