Flex-Forcing:迈向统一的自回归与双向视频扩散模型

Hugging Face Daily Papers 论文

摘要

介绍 Flex-Forcing,一个统一的训练和推理框架,通过灵活的时间与去噪步骤分块机制,使视频扩散模型能在双向和自回归两种模式下运行,实现更好的视频质量、长视频稳定性和更快的推理速度。

近年来,大规模生成模型的进展极大地推动了视频生成的发展,然而现有方法仍受限于僵化的推理范式。双向扩散模型在全局一致性和视觉保真度方面表现出色,但推理速度较慢;而自回归模型虽然能实现高效流式生成,却牺牲了长程一致性和暴露偏差。我们提出 Flex-Forcing,一个统一的训练和推理框架,使视频扩散模型能够无缝地同时支持双向和自回归生成模式。其核心思想是一个在时间轴和去噪步骤上联合定义的灵活分块机制。该设计使模型能够:(1)根据不同的设备预算执行灵活的分块;(2)跨分块进行双向推理以规划全局结构,同时在每个分块内自回归生成帧以实现高效且精细的合成;(3)无需严格的因果约束,实现任意顺序、任意时间步的自回归生成。在多个视频生成基准上的大量实验表明,与采用固定推理调度的强基线相比,Flex-Forcing 在视频质量和长视频稳定性上持续更优,同时提供更快的推理速度。
查看原文
查看缓存全文

缓存时间: 2026/07/08 06:48

论文页面 - Flex-Forcing:迈向统一的自回归与双向视频扩散模型

来源:https://huggingface.co/papers/2607.03509

摘要

Flex-Forcing 通过一种在时间轴和去噪步骤上定义的灵活分块机制,使视频扩散模型能够在双向生成和自回归生成两种模式下运行,从而提升视频质量和推理速度。

近年来大规模生成模型的进展显著推动了视频生成(https://huggingface.co/papers?q=video%20generation)的发展,但现有方法仍受限于僵化的推理范式(https://huggingface.co/papers?q=inference%20paradigm)。双向扩散模型(https://huggingface.co/papers?q=Bidirectional%20diffusion%20models)擅长全局一致性(https://huggingface.co/papers?q=global%20coherence)和视觉保真度(https://huggingface.co/papers?q=visual%20fidelity),但推理速度较慢;而自回归模型(https://huggingface.co/papers?q=autoregressive%20models)能够高效、流式生成,却以长程一致性(https://huggingface.co/papers?q=long-range%20consistency)和曝光偏差(https://huggingface.co/papers?q=exposure%20bias)为代价。我们提出了 Flex-Forcing,一个统一的训练和推理框架,使得视频扩散模型(https://huggingface.co/papers?q=video%20diffusion%20model)能够无缝地在双向生成和自回归生成(https://huggingface.co/papers?q=autoregressive%20generation)两种模式下运行。其核心思想是一种在时间轴(https://huggingface.co/papers?q=temporal%20axis)和去噪步骤(https://huggingface.co/papers?q=denoising%20steps)上共同定义的灵活分块机制(https://huggingface.co/papers?q=flexible%20chunking%20mechanism)。该设计使模型能够:(1) 根据不同的设备预算执行灵活分块;(2) 在块间进行双向推理以规划全局结构,同时在每个块内自回归地生成帧以实现高效且精细的合成;(3) 无需严格的因果约束,实现任意顺序、任意时间步的自回归生成。在多个视频生成(https://huggingface.co/papers?q=video%20generation)基准上的大量实验表明,与采用僵化推理调度的强基线相比,Flex-Forcing 始终能获得更好的视频质量和长视频稳定性,同时推理速度更快。

查看 arXiv 页面(https://arxiv.org/abs/2607.03509)
查看 PDF(https://arxiv.org/pdf/2607.03509)
项目页面(https://research.nvidia.com/labs/genair/flex-forcing/)
添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2607.03509)

在你的 agent 中获取本文:

hf papers read 2607.03509

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型(0)

没有模型链接本文

请在你的模型 README.md 中引用 arxiv.org/abs/2607.03509 以从此页面链接。

引用本文的数据集(0)

没有数据集链接本文

请在你的数据集 README.md 中引用 arxiv.org/abs/2607.03509 以从此页面链接。

引用本文的 Spaces(0)

没有 Space 链接本文

请在你的 Space README.md 中引用 arxiv.org/abs/2607.03509 以从此页面链接。

包含本文的收藏(0)

没有包含本文的收藏

请将本文添加到收藏(https://huggingface.co/new-collection)以从此页面链接。

相似文章

灵活视频扩散(3分钟阅读)

TLDR AI

Flex-Forcing提出了一个统一的视频扩散框架,支持自回归和双向生成模式,为视频生成任务提供灵活的控制。

Lip Forcing: 少步自回归扩散实现实时唇形同步

Hugging Face Daily Papers

本文介绍Lip Forcing,首个用于实时视频到视频唇形同步的自回归扩散方法。通过将14B教师模型蒸馏为因果学生模型,并仅使用两步去噪,该方法在1.3B规模下实现了31 FPS的流式处理,比同规模双向模型快17.6倍。