MV-Forcing:通过4D基底的时空自强迫实现长时间多视角视频生成
摘要
MV-Forcing 提出了一种扩散框架,结合时间自回归和视角自回归,生成动态场景的长时间多视角一致视频。通过使用4D几何桥梁和时空蒸馏,实现基于少步学生模型的任意长度视频生成。
查看缓存全文
缓存时间: 2026/07/07 10:43
论文页面 - MV-Forcing:基于4D时空自强迫的长序列多视角视频生成
来源:https://huggingface.co/papers/2607.05376
摘要
一种视频扩散框架,通过4D几何桥接和时空蒸馏技术,结合时序与视角方向的自回归,生成长序列、多视角一致的视频。
近年来的视频扩散模型(https://huggingface.co/papers?q=video%20diffusion%20models)进展已实现通过时序自回归(https://huggingface.co/papers?q=temporal%20autoregression)生成单视角长视频,或通过双向注意力(https://huggingface.co/papers?q=bidirectional%20attention)生成短时多视角合成(https://huggingface.co/papers?q=multi-view%20synthesis)。然而,动态场景的长序列多视角一致生成仍未解决。本文提出MV-Forcing,一种通过在顺序生成的视角间引入4D几何桥接(https://huggingface.co/papers?q=4D%20geometric%20bridge),在单一扩散模型中组合时序与视角方向自回归的框架。我们的关键洞察是:自回归3D重建模型(https://huggingface.co/papers?q=autoregressive%203D%20reconstruction%20model)可以自然地桥接自回归生成的视角。给定一个完成的源视角,我们重建其3D结构并渲染下一个目标视角的几何先验(https://huggingface.co/papers?q=geometric%20prior),扩散模型将其精炼为高质量视频。为了将生成扩展到教师模型固定时间窗口之外,我们引入联合去噪机制(https://huggingface.co/papers?q=joint%20denoising%20regime),训练时将两个视角槽位同时从噪声初始化,实现时间无界生成(https://huggingface.co/papers?q=temporally%20unbounded%20generation)。我们通过分布匹配蒸馏(https://huggingface.co/papers?q=Distribution%20Matching%20Distillation)结合时空自强迫(https://huggingface.co/papers?q=Spatio-Temporal%20Self-Forcing)对模型进行蒸馏,弥补时序和视角序列自回归中训练-推理曝光偏差的差距。在合成和真实数据上的大量实验表明,MV-Forcing使用单一少步学生模型(https://huggingface.co/papers?q=student%20model),能够在任意时长和视角数量下生成几何一致的动态场景多视角视频。
查看arXiv页面(https://arxiv.org/abs/2607.05376)查看PDF(https://arxiv.org/pdf/2607.05376)项目页面(https://galfiebelman.github.io/mv-forcing/)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2607.05376)
在您的智能体中使用本论文:
hf papers read 2607\.05376
没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本论文的模型0
无模型链接本论文
在模型README.md中引用 arxiv.org/abs/2607.05376 即可从此页面链接。
引用本论文的数据集0
无数据集链接本论文
在数据集README.md中引用 arxiv.org/abs/2607.05376 即可从此页面链接。
引用本论文的太空0
无Space链接本论文
在Space README.md中引用 arxiv.org/abs/2607.05376 即可从此页面链接。
包含本论文的收藏集0
无收藏集包含本论文
将本论文添加到收藏集(https://huggingface.co/new-collection)即可从此页面链接。
相似文章
MVTrack4Gen:多视角点跟踪作为4D视频生成的几何监督
MVTrack4Gen提出了一种训练框架,利用多视角点跟踪作为几何监督来增强运动感知扩散模型,在从单目视频生成新视角视频中实现了最先进的几何一致性和运动保真度。
Flex-Forcing:迈向统一的自回归与双向视频扩散模型
介绍 Flex-Forcing,一个统一的训练和推理框架,通过灵活的时间与去噪步骤分块机制,使视频扩散模型能在双向和自回归两种模式下运行,实现更好的视频质量、长视频稳定性和更快的推理速度。
Steady-Forcing: 在长时域自然视频扩散中平衡空间持久性与运动连续性
Steady-Forcing 提出了一种记忆与训练框架,旨在长时域自然视频生成中平衡空间稳定性与运动连续性,在保持流体动态持续多分钟滚动生成的同时,提升背景一致性。
Causal Forcing++:可扩展的少步自回归扩散蒸馏,用于实时交互式视频生成
Causal Forcing++提出了一种新颖的因果一致性蒸馏方法,用于逐帧自回归视频生成,在降低延迟和训练成本的同时实现了最先进的质量。
One-Forcing: 迈向稳定的单步自回归视频生成
One-Forcing 通过用辅助 GAN 损失增强 DMD 目标,改进了单步视频生成,以更低的训练成本实现了最先进的性能。