Dynamic-in-Few-Step: 统一动态计算与少步蒸馏的高效视频生成

# Dynamic-in-Few-Step: 统一动态计算与少步蒸馏以实现高效视频生成
来源：https://arxiv.org/html/2607.06631
Yu Cheng1,2,3Siyue Yao3,4Zhongang Qi3,†Shanyan Guan3Wei Li3Fajie Yuan2,† 1浙江大学2西湖大学3蓝心影像，vivo4西交利物浦大学 [email protected], [email protected], [email protected] †通讯作者

###### 摘要

视频扩散模型（VDMs）已展现出卓越的生成质量，但面临高昂的计算成本。虽然近期少步蒸馏技术显著加速了推理，但它们通常在所有去噪阶段强制使用静态模型架构，忽略了不同噪声水平固有的计算需求差异。在这项工作中，我们提出了一种新颖的训练后加速框架，通过将动态结构稀疏化直接整合到蒸馏过程中来利用这种冗余。与应用于固定扩散管道的传统事后压缩不同，我们的方法联合优化去噪步骤和结构化模型稀疏性，将预训练的VDM转换为一个紧凑的、步骤感知的模型混合体（MoM）。为了解决这种联合优化带来的训练不稳定性，我们引入了一种渐进式训练策略，并辅以输出展开机制，确保结构决策在时间步上的连贯学习。此外，我们开发了一个专门的推理引擎来高效部署得到的MoM。我们的方法与现有的加速技术正交且非常有效：在Wan-14B上，它在4步蒸馏的基础上移除了24%的每步FLOPs，实现了1.2倍的墙上时钟增益，并在保持有竞争力的生成质量的同时，相比50步教师模型实现了30倍的速度提升。

关键词：视频生成加速 · 动态网络 · 高效扩散

## 1 引言

视频扩散模型（VDMs）[29 (https://arxiv.org/html/2607.06631#bib.bib89),10 (https://arxiv.org/html/2607.06631#bib.bib101),25 (https://arxiv.org/html/2607.06631#bib.bib52),17 (https://arxiv.org/html/2607.06631#bib.bib100)]彻底改变了视频创作，在仿真、广告和电影制作中实现了突破。然而，它们的实际部署受到高推理延迟和大量计算资源需求的严重限制。

近期在训练后加速方面取得了显著进展，重点集中在步骤减少[43 (https://arxiv.org/html/2607.06631#bib.bib13),27 (https://arxiv.org/html/2607.06631#bib.bib14),19 (https://arxiv.org/html/2607.06631#bib.bib92)]、注意力优化[40 (https://arxiv.org/html/2607.06631#bib.bib7),37 (https://arxiv.org/html/2607.06631#bib.bib11)]、量化[15 (https://arxiv.org/html/2607.06631#bib.bib18)]、令牌压缩[2 (https://arxiv.org/html/2607.06631#bib.bib84)]和简化生成[36 (https://arxiv.org/html/2607.06631#bib.bib128),13 (https://arxiv.org/html/2607.06631#bib.bib129)]等方面。尽管取得了显著进展，这些方法有一个共同的局限性：它们将去噪网络视为静态架构，在所有时间步上均匀地应用相同的繁重计算。然而，扩散过程本质上是异质的。现有工作[6 (https://arxiv.org/html/2607.06631#bib.bib131),42 (https://arxiv.org/html/2607.06631#bib.bib127)]观察到生成过程以从粗到细的方式进行，模型首先构建全局结构，然后细化高频细节。这表明不同的去噪阶段需要不同的计算能力，这提出了一个关键问题：我们能否利用这种异质性来动态分配跨时间步的计算，移除特定步骤的冗余以加速VDMs？

虽然先前的工作[42 (https://arxiv.org/html/2607.06631#bib.bib127),41 (https://arxiv.org/html/2607.06631#bib.bib126)]已经探索了动态计算，但它们通常是在标准去噪目标下训练的，当适应少步蒸馏时往往变得不稳定或无效[42 (https://arxiv.org/html/2607.06631#bib.bib127)]。鉴于少步蒸馏已成为高效VDMs的事实标准范式，这种不兼容性严重限制了它们的实用性。此外，简单的解耦流水线——要么“先剪枝后蒸馏”，要么“先蒸馏后剪枝”——不足以解决这种不匹配问题。具体来说，蒸馏前剪枝限制了学习复杂少步映射所需的模型容量，而蒸馏后剪枝则破坏了精心对齐的生成轨迹，导致严重的误差累积，见表1 (https://arxiv.org/html/2607.06631#S5.T1)。

为了将动态计算转化为实际效率，我们将动态剪枝和少步蒸馏表述为一个统一的优化问题。利用分布匹配（一种在3D生成[32 (https://arxiv.org/html/2607.06631#bib.bib132)]和注意力优化[13 (https://arxiv.org/html/2607.06631#bib.bib129),39 (https://arxiv.org/html/2607.06631#bib.bib6)]中得到验证的稳健目标），我们针对压缩后的生成轨迹专门蒸馏出一个动态结构。这产生了一个步骤感知的模型混合体（MoM）框架，能够进行高质量的4步推理，其中网络架构在每一步都自适应地剪枝，从本质上绕过了事后蒸馏带来的不兼容性问题。

实现这个联合目标并非易事，因为同时优化参数稀疏性和步骤减少会导致梯度冲突和训练不稳定。为了克服这一点，我们引入了一种渐进式训练策略，并辅以输出展开机制。我们的核心见解是，扩散是一个顺序过程，其最终目标是最终输出的感知质量。受此指导，我们采用了一个逆向顺序课程：该策略首先稳定后期去噪阶段的生成质量，然后逐步稀疏化早期、噪音更大的阶段。此外，我们利用分布匹配蒸馏（DMD）[35 (https://arxiv.org/html/2607.06631#bib.bib171),34 (https://arxiv.org/html/2607.06631#bib.bib174)]中的输出展开策略，实现基于最终输出分布的监督。这些设计确保了高效模型的稳定训练。最后，为了将理论稀疏性转化为实际的加速，我们实现了一个专门的推理引擎，有效利用这种动态模型混合体。

我们的贡献总结如下：

1.  我们提出了一个端到端的框架，联合优化少步蒸馏和动态结构稀疏化，产生一个步骤感知的模型混合体，同时消除时间和参数冗余。
2.  我们引入了一种结合输出展开策略的渐进式训练计划。该设计有效协调了联合优化，并确保收敛到高质量的解决方案。
3.  凭借为MoM架构实现专门的推理引擎，我们的方法在Wan-14B上移除了24%的每步FLOPs，并在4步蒸馏的基础上增加了1.2倍的速度提升，相比50步教师模型实现了30倍的速度提升，同时保持了有竞争力的VBench分数。

## 2 相关工作

### 2.1 高效视频扩散生成

预训练视频扩散模型的加速技术可以大致分为免训练优化[21 (https://arxiv.org/html/2607.06631#bib.bib94),3 (https://arxiv.org/html/2607.06631#bib.bib95),5 (https://arxiv.org/html/2607.06631#bib.bib96),22 (https://arxiv.org/html/2607.06631#bib.bib113)]和训练后框架。在这项工作中，我们关注后一类。现有的训练后方法探索了优化的多个维度。步骤蒸馏方法[43 (https://arxiv.org/html/2607.06631#bib.bib13),24 (https://arxiv.org/html/2607.06631#bib.bib17),6 (https://arxiv.org/html/2607.06631#bib.bib131),27 (https://arxiv.org/html/2607.06631#bib.bib14)]将长采样轨迹压缩到少步机制（例如4-8步），显著降低了推理延迟。注意力优化技术[39 (https://arxiv.org/html/2607.06631#bib.bib6),37 (https://arxiv.org/html/2607.06631#bib.bib11),14 (https://arxiv.org/html/2607.06631#bib.bib12)]通过线性化或稀疏化减轻了二次复杂度。令牌减少策略[2 (https://arxiv.org/html/2607.06631#bib.bib84)]采用微调来适配高压缩VAE，有效地缩短了时空令牌。因果蒸馏方法[13 (https://arxiv.org/html/2607.06631#bib.bib129),36 (https://arxiv.org/html/2607.06631#bib.bib128)]将缓慢的双向生成转换为高效的流式生成。量化感知训练技术[15 (https://arxiv.org/html/2607.06631#bib.bib18)]利用低位参数化来减少推理开销。

这些方法通常将去噪网络视为静态架构，在所有时间步上均匀施加计算。我们的方法通过针对多步扩散过程中固有的结构冗余，引入了**步骤依赖的**动态优化，提供了一种正交的优化视角。

### 2.2 结构化剪枝与动态网络

结构化剪枝移除冗余的高层级单元（例如通道、滤波器和块），以减少参数和FLOPs，同时保持准确性。经典的结构化剪枝基于幅度[12 (https://arxiv.org/html/2607.06631#bib.bib55),9 (https://arxiv.org/html/2607.06631#bib.bib56)]、重要性评分[23 (https://arxiv.org/html/2607.06631#bib.bib57)]或梯度敏感准则[28 (https://arxiv.org/html/2607.06631#bib.bib58)]识别不重要的单元，并得出一个紧凑的静态架构用于部署。动态网络通过引入条件计算扩展了这一范式，代表性方法如[18 (https://arxiv.org/html/2607.06631#bib.bib99),11 (https://arxiv.org/html/2607.06631#bib.bib54)]根据输入令牌动态调整网络深度或宽度。一个突出的例子是混合专家（MoE）[7 (https://arxiv.org/html/2607.06631#bib.bib59),26 (https://arxiv.org/html/2607.06631#bib.bib60)]，它通过学习的路由机制激活参数的子集——通常在前馈层中。虽然有效地扩展了模型容量，但这些依赖于令牌的动态结构对路由策略和系统级实现提出了严格要求，以实现实际的墙上时钟加速[7 (https://arxiv.org/html/2607.06631#bib.bib59),4 (https://arxiv.org/html/2607.06631#bib.bib61)]。

在扩散模型中，不同时间步上变化的噪声水平引入了独特的异质性维度。DyDiT系列[42 (https://arxiv.org/html/2607.06631#bib.bib127),41 (https://arxiv.org/html/2607.06631#bib.bib126)]通过提出时间依赖的剪枝来探索这一点，为每个时间步学习特定的网络结构。由于路由仅依赖于扩散步骤，高效的批处理推理得到了友好支持，无需复杂的路由实现。然而，DyDiT是在标准的多步去噪目标下训练的，缺乏与步骤减少联合优化的机制。正如他们的原始论文[42 (https://arxiv.org/html/2607.06631#bib.bib127)]所示，将其与步骤蒸馏结合会导致模型崩溃或训练无效。这种与现代少步蒸馏框架的不兼容性严重限制了其实用性。我们通过设计一种**联合优化**方法来解决这个问题。

### 2.3 步骤感知的模型混合体

我们的方法将预训练的VDM转换为一个步骤感知的模型混合体（MoM），其中网络针对不同的去噪阶段被不同地剪枝。几个大规模的生成模型，如ERNIE-ViLG 2.0[8 (https://arxiv.org/html/2607.06631#bib.bib91)]和Wan2.2[30 (https://arxiv.org/html/2607.06631#bib.bib90)]，也采用了MoM设计，为不同的噪声区间训练单独的去噪器。它们的目标是在预训练期间扩展模型容量以提高生成质量。类似地，PhasedDMD[6 (https://arxiv.org/html/2607.06631#bib.bib131)]在步骤蒸馏中引入了MoM结构，主要是为了增加模型表达力。

相反，我们将MoM用作一种训练后加速机制。我们利用跨噪声级别的结构异质性来压缩预训练模型，目标是**效率**而非容量扩展。

## 3 预备知识

我们基于分布匹配蒸馏方法并进行了特定修改来执行步骤蒸馏。此外，我们应用了来自[33 (https://arxiv.org/html/2607.06631#bib.bib19)]的三级剪枝方案进行结构稀疏化。本节我们简要介绍这些方法。

### 3.1 修改后的分布匹配蒸馏

我们使用解耦分布匹配蒸馏（D-DMD）[20 (https://arxiv.org/html/2607.06631#bib.bib88)]，将一个多步扩散模型蒸馏成一个T步的学生生成器\(G_\theta\)（我们设\(T=4\)）。学生生成器在离散的时间步集合\(\mathcal{T} = \{t_1, t_2, \dots, t_T\}\)上运行，其中\(t_1\)表示初始的最高噪声水平，\(t_T\)表示干净数据之前的最终最低噪声水平。目标是最小化学生分布\(p_\theta\)与真实数据分布\(p_\text{real}\)之间的Kullback-Leibler（KL）散度\(\mathcal{D}_{\text{KL}}(p_\theta \| p_\text{real})\)。由于直接优化该散度是棘手的，基于DMD的方法利用分数估计来近似关于学生参数\(\theta\)的梯度\(\nabla_\theta \mathcal{D}_{\text{KL}}\)（详情参考[35 (https://arxiv.org/html/2607.06631#bib.bib171)]）。具体来说，D-DMD通过显式展开教师的无分类器指导（CFG）项并重新排列组件，重新表述了梯度，得到以下解耦形式：

\[
\nabla_\theta \mathcal{D}_{\scalebox{0.6}{\text{KL}}} \approx \mathbb{E}_{t \in \mathcal{T}, \tau_{\scalebox{0.6}{\text{DM}}}, \tau_{\scalebox{0.6}{\text{CA}}}}\left[ -\left( \underbrace{\left( \mathbf{s}_{\text{real}}(\mathbf{x}_{\tau_{\scalebox{0.6}{\text{DM}}}}, c) - \mathbf{s}_{\text{fake}}(\mathbf{x}_{\tau_{\scalebox{0.6}{\text{DM}}}}, c) \right)}_{\scalebox{0.9}{\text{Distribution Matching: }} \Delta_{\text{DM}}} + \underbrace{(\alpha - 1) \left( \mathbf{s}_{\text{real}}(\mathbf{x}_{\tau_{\scalebox{0.6}{\text{CA}}}}, c) - \mathbf{s}_{\text{real}}(\mathbf{x}_{\tau_{\scalebox{0.6}{\text{CA}}}}, \emptyset) \right)}_{\scalebox{0.9}{\text{CFG Augmentation: }} \Delta_{\text{CA}}} \right) \frac{\partial G_\theta(\mathbf{z}_t)}{\partial \theta} \right],
\]

其中\(\mathbf{z}_t\)表示少步噪声水平\(t \in \mathcal{T}\)下的潜在输入，\(\mathbf{x}_\tau\)表示生成器输出重新添加噪声到连续噪声水平\(\tau\)（\(\tau=0\)表示纯噪声，\(\tau=1\)表示干净数据）。项\(c\)和\(\emptyset\)分别表示条件和无条件嵌入。