Wave Forcing:迈向光速级流式视频生成

Hugging Face Daily Papers 论文

摘要

Wave Forcing 为流式视频生成引入了波前调度的训练与执行框架,使后续视频块在前序块尚未完成去噪时即可开始去噪,同时实现通信与计算的重叠。在 Wan2.1-T2V-1.3B 上,它达到了与 Rolling Forcing 相当的质量,并在 8×H200 上实现 147.6 DiT FPS,单卡端到端吞吐量提升至 7.07 倍。

实时长视频生成要求持续输出,同时保持外观一致性和自然的运动。现有的分块自回归方法在生成效率和长视频质量上都面临挑战:串行化的去噪与历史缓存刷新即使用一步去噪也需要两次前向传播,而更长的展开序列会导致质量下降并引发镜头漂移。我们提出 Wave Forcing(WF),针对多步去噪下的连续视频输出,对生成、训练与执行进行协同设计。WF 采用分块因果注意力,可在前序更干净的块完成去噪之前访问它们,并将交错的去噪与缓存刷新阶段分布到全模型副本上,从而实现 1F1C:在流水线填充后,每轮并发前向传播输出一个块。为使模型适应这一连续生成过程,我们设计了三阶段训练流程,依次引入混合噪声去噪、运动监督,以及基于自生成历史的因果适配。为高效执行该过程,Wave Runtime(WaveRT)使用 Wave Parallelism(WP)实现 K/V 的提前传递与通信-计算重叠,并结合优化算子和流水线化的 VAE 解码。在 Wan2.1-T2V-1.3B 上的实验表明,5 步 WF 在保持与 Rolling Forcing 相当的整体质量的同时,在短视频和长视频上都取得了更高的 Dynamic Degree。系统效率实验显示,4 步 WF 在八块 H200 GPU 上达到 147.6 DiT FPS 和 134.8 端到端 FPS,端到端吞吐量是单卡的 7.07 倍。在 DiT-only 测试中,在匹配 SageAttention+W8A8 后端、去噪步数和 GPU 数量的条件下,WP 在六个模型规模(1.3B–14B)上相比 Ulysses 和 Ring 上下文并行基线中较快者,吞吐量最高提升至 2.53 倍。
查看原文
查看缓存全文

缓存时间: 2026/11/03 07:35

论文页面 - Wave Forcing:迈向光速级流式视频生成

来源:https://huggingface.co/papers/2611.00859

我们提出了 Wave Forcing,一个用于流式视频生成的训练与执行框架。

其核心思想是波前调度(wavefront scheduling):后续的视频块在前序块尚未完成时就开始去噪,并将其更干净的中间状态作为因果上下文。WaveRT 将 K/V 提前发送至使用点,并使通信与计算重叠。在流水线填充之后,每一轮并发前向传播即可产出一个视频块。

关键结果:

  • 质量: 在 Wan2.1-T2V-1.3B 上,5 步 WF 保持了与 Rolling Forcing 相当的整体质量。对于 100 秒的视频,Dynamic Degree 从 36.63 提升至 91.45,Subject Preservation 从 92.75 提升至 97.10。
  • 系统效率: 我们在 8×H200 上的 4 步基准测试达到 147.6 DiT FPS 和 134.8 端到端 FPS,实现了 7.07× 的单卡 E2E 吞吐量。
  • 并行性: 在 DiT 单独测试中(匹配 SageAttention+W8A8 后端、步数和 GPU 数量),吞吐量最高可达更快的 Ulysses/Ring 基线的 2.53×。

代码、训练配方以及 4 步/5 步检查点均已开源。欢迎反馈与讨论!

项目主页: https://sjtu-deng-lab.github.io/WaveForcing/ GitHub 仓库: https://github.com/SJTU-DENG-Lab/WaveForcing

相似文章

流式力控视频生成

Hugging Face Daily Papers

StreamForce 是一种因果统一视频生成模型,通过蒸馏流水线和自回归架构,为时变力提供实时、基于物理的响应,在力的遵循度和运动真实性方面达到了最先进的性能。

Stream-T1:用于流式视频生成的测试时扩展

Hugging Face Daily Papers

Stream-T1 是一种针对流式视频生成提出的测试时扩展(TTS)框架,通过噪声传播和奖励剪枝等机制,提升了时间一致性和生成质量。该论文通过利用块级合成技术,解决了现有基于扩散模型的方法计算成本过高的问题。

灵活视频扩散(3分钟阅读)

TLDR AI

Flex-Forcing提出了一个统一的视频扩散框架,支持自回归和双向生成模式,为视频生成任务提供灵活的控制。