Flex-Forcing:迈向统一的自回归与双向视频扩散模型
摘要
介绍 Flex-Forcing,一个统一的训练和推理框架,通过灵活的时间与去噪步骤分块机制,使视频扩散模型能在双向和自回归两种模式下运行,实现更好的视频质量、长视频稳定性和更快的推理速度。
查看缓存全文
缓存时间: 2026/07/08 06:48
论文页面 - Flex-Forcing:迈向统一的自回归与双向视频扩散模型
来源:https://huggingface.co/papers/2607.03509
摘要
Flex-Forcing 通过一种在时间轴和去噪步骤上定义的灵活分块机制,使视频扩散模型能够在双向生成和自回归生成两种模式下运行,从而提升视频质量和推理速度。
近年来大规模生成模型的进展显著推动了视频生成(https://huggingface.co/papers?q=video%20generation)的发展,但现有方法仍受限于僵化的推理范式(https://huggingface.co/papers?q=inference%20paradigm)。双向扩散模型(https://huggingface.co/papers?q=Bidirectional%20diffusion%20models)擅长全局一致性(https://huggingface.co/papers?q=global%20coherence)和视觉保真度(https://huggingface.co/papers?q=visual%20fidelity),但推理速度较慢;而自回归模型(https://huggingface.co/papers?q=autoregressive%20models)能够高效、流式生成,却以长程一致性(https://huggingface.co/papers?q=long-range%20consistency)和曝光偏差(https://huggingface.co/papers?q=exposure%20bias)为代价。我们提出了 Flex-Forcing,一个统一的训练和推理框架,使得视频扩散模型(https://huggingface.co/papers?q=video%20diffusion%20model)能够无缝地在双向生成和自回归生成(https://huggingface.co/papers?q=autoregressive%20generation)两种模式下运行。其核心思想是一种在时间轴(https://huggingface.co/papers?q=temporal%20axis)和去噪步骤(https://huggingface.co/papers?q=denoising%20steps)上共同定义的灵活分块机制(https://huggingface.co/papers?q=flexible%20chunking%20mechanism)。该设计使模型能够:(1) 根据不同的设备预算执行灵活分块;(2) 在块间进行双向推理以规划全局结构,同时在每个块内自回归地生成帧以实现高效且精细的合成;(3) 无需严格的因果约束,实现任意顺序、任意时间步的自回归生成。在多个视频生成(https://huggingface.co/papers?q=video%20generation)基准上的大量实验表明,与采用僵化推理调度的强基线相比,Flex-Forcing 始终能获得更好的视频质量和长视频稳定性,同时推理速度更快。
查看 arXiv 页面(https://arxiv.org/abs/2607.03509)
查看 PDF(https://arxiv.org/pdf/2607.03509)
项目页面(https://research.nvidia.com/labs/genair/flex-forcing/)
添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2607.03509)
在你的 agent 中获取本文:
hf papers read 2607.03509
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型(0)
没有模型链接本文
请在你的模型 README.md 中引用 arxiv.org/abs/2607.03509 以从此页面链接。
引用本文的数据集(0)
没有数据集链接本文
请在你的数据集 README.md 中引用 arxiv.org/abs/2607.03509 以从此页面链接。
引用本文的 Spaces(0)
没有 Space 链接本文
请在你的 Space README.md 中引用 arxiv.org/abs/2607.03509 以从此页面链接。
包含本文的收藏(0)
没有包含本文的收藏
请将本文添加到收藏(https://huggingface.co/new-collection)以从此页面链接。
相似文章
灵活视频扩散(3分钟阅读)
Flex-Forcing提出了一个统一的视频扩散框架,支持自回归和双向生成模式,为视频生成任务提供灵活的控制。
MV-Forcing:通过4D基底的时空自强迫实现长时间多视角视频生成
MV-Forcing 提出了一种扩散框架,结合时间自回归和视角自回归,生成动态场景的长时间多视角一致视频。通过使用4D几何桥梁和时空蒸馏,实现基于少步学生模型的任意长度视频生成。
Causal Forcing++:可扩展的少步自回归扩散蒸馏,用于实时交互式视频生成
Causal Forcing++提出了一种新颖的因果一致性蒸馏方法,用于逐帧自回归视频生成,在降低延迟和训练成本的同时实现了最先进的质量。
Forcing-KV:面向高效自回归视频扩散模型的混合KV缓存压缩策略
本文介绍了Forcing-KV,这是一种针对自回归视频扩散模型的混合KV缓存压缩策略,它将注意力头分为静态和动态两类,在1080P分辨率下实现了高达2.82倍的加速,同时保持了输出质量。
Lip Forcing: 少步自回归扩散实现实时唇形同步
本文介绍Lip Forcing,首个用于实时视频到视频唇形同步的自回归扩散方法。通过将14B教师模型蒸馏为因果学生模型,并仅使用两步去噪,该方法在1.3B规模下实现了31 FPS的流式处理,比同规模双向模型快17.6倍。