Wave Forcing:迈向光速级流式视频生成
摘要
Wave Forcing 为流式视频生成引入了波前调度的训练与执行框架,使后续视频块在前序块尚未完成去噪时即可开始去噪,同时实现通信与计算的重叠。在 Wan2.1-T2V-1.3B 上,它达到了与 Rolling Forcing 相当的质量,并在 8×H200 上实现 147.6 DiT FPS,单卡端到端吞吐量提升至 7.07 倍。
查看缓存全文
缓存时间: 2026/11/03 07:35
论文页面 - Wave Forcing:迈向光速级流式视频生成
来源:https://huggingface.co/papers/2611.00859
我们提出了 Wave Forcing,一个用于流式视频生成的训练与执行框架。
其核心思想是波前调度(wavefront scheduling):后续的视频块在前序块尚未完成时就开始去噪,并将其更干净的中间状态作为因果上下文。WaveRT 将 K/V 提前发送至使用点,并使通信与计算重叠。在流水线填充之后,每一轮并发前向传播即可产出一个视频块。
关键结果:
- 质量: 在 Wan2.1-T2V-1.3B 上,5 步 WF 保持了与 Rolling Forcing 相当的整体质量。对于 100 秒的视频,Dynamic Degree 从 36.63 提升至 91.45,Subject Preservation 从 92.75 提升至 97.10。
- 系统效率: 我们在 8×H200 上的 4 步基准测试达到 147.6 DiT FPS 和 134.8 端到端 FPS,实现了 7.07× 的单卡 E2E 吞吐量。
- 并行性: 在 DiT 单独测试中(匹配 SageAttention+W8A8 后端、步数和 GPU 数量),吞吐量最高可达更快的 Ulysses/Ring 基线的 2.53×。
代码、训练配方以及 4 步/5 步检查点均已开源。欢迎反馈与讨论!
项目主页: https://sjtu-deng-lab.github.io/WaveForcing/ GitHub 仓库: https://github.com/SJTU-DENG-Lab/WaveForcing
相似文章
流式力控视频生成
StreamForce 是一种因果统一视频生成模型,通过蒸馏流水线和自回归架构,为时变力提供实时、基于物理的响应,在力的遵循度和运动真实性方面达到了最先进的性能。
Causal Forcing++:可扩展的少步自回归扩散蒸馏,用于实时交互式视频生成
Causal Forcing++提出了一种新颖的因果一致性蒸馏方法,用于逐帧自回归视频生成,在降低延迟和训练成本的同时实现了最先进的质量。
Stream-T1:用于流式视频生成的测试时扩展
Stream-T1 是一种针对流式视频生成提出的测试时扩展(TTS)框架,通过噪声传播和奖励剪枝等机制,提升了时间一致性和生成质量。该论文通过利用块级合成技术,解决了现有基于扩散模型的方法计算成本过高的问题。
灵活视频扩散(3分钟阅读)
Flex-Forcing提出了一个统一的视频扩散框架,支持自回归和双向生成模式,为视频生成任务提供灵活的控制。
Steady-Forcing: 在长时域自然视频扩散中平衡空间持久性与运动连续性
Steady-Forcing 提出了一种记忆与训练框架,旨在长时域自然视频生成中平衡空间稳定性与运动连续性,在保持流体动态持续多分钟滚动生成的同时,提升背景一致性。