MV-Forcing:通过4D基底的时空自强迫实现长时间多视角视频生成

Hugging Face Daily Papers 论文

摘要

MV-Forcing 提出了一种扩散框架,结合时间自回归和视角自回归,生成动态场景的长时间多视角一致视频。通过使用4D几何桥梁和时空蒸馏,实现基于少步学生模型的任意长度视频生成。

近年来,视频扩散模型的进展使得通过时间自回归实现长时间单视角生成,或通过双向注意力实现短时间多视角合成成为可能。然而,生成动态场景的长时间多视角一致视频仍未解决。在这项工作中,我们提出了MV-Forcing框架,通过引入顺序生成视角之间的4D几何桥梁,在单个扩散模型中组合了时间自回归和视角自回归。我们的关键见解是,自回归3D重建模型自然地连接了自回归生成的视角。给定一个完整的源视角,我们重建其3D结构并渲染下一个目标视角的几何先验,然后由扩散模型将其细化为高质量视频。为了将生成扩展到教师模型的固定时间窗口之外,我们引入了一种联合去噪机制,在训练过程中两个视角槽都从噪声初始化,从而实现时间上无界生成。我们通过 Distribution Matching Distillation with Spatio-Temporal Self-Forcing 对模型进行蒸馏,缩小了时间自回归和视角顺序自回归在训练-推理暴露偏差上的差距。在合成数据和真实数据上的大量实验表明,MV-Forcing 能够使用单个少步学生模型生成任意长度和任意视角数量的动态场景几何一致多视角视频。
查看原文
查看缓存全文

缓存时间: 2026/07/07 10:43

论文页面 - MV-Forcing:基于4D时空自强迫的长序列多视角视频生成

来源:https://huggingface.co/papers/2607.05376

摘要

一种视频扩散框架,通过4D几何桥接和时空蒸馏技术,结合时序与视角方向的自回归,生成长序列、多视角一致的视频。

近年来的视频扩散模型(https://huggingface.co/papers?q=video%20diffusion%20models)进展已实现通过时序自回归(https://huggingface.co/papers?q=temporal%20autoregression)生成单视角长视频,或通过双向注意力(https://huggingface.co/papers?q=bidirectional%20attention)生成短时多视角合成(https://huggingface.co/papers?q=multi-view%20synthesis)。然而,动态场景的长序列多视角一致生成仍未解决。本文提出MV-Forcing,一种通过在顺序生成的视角间引入4D几何桥接(https://huggingface.co/papers?q=4D%20geometric%20bridge),在单一扩散模型中组合时序与视角方向自回归的框架。我们的关键洞察是:自回归3D重建模型(https://huggingface.co/papers?q=autoregressive%203D%20reconstruction%20model)可以自然地桥接自回归生成的视角。给定一个完成的源视角,我们重建其3D结构并渲染下一个目标视角的几何先验(https://huggingface.co/papers?q=geometric%20prior),扩散模型将其精炼为高质量视频。为了将生成扩展到教师模型固定时间窗口之外,我们引入联合去噪机制(https://huggingface.co/papers?q=joint%20denoising%20regime),训练时将两个视角槽位同时从噪声初始化,实现时间无界生成(https://huggingface.co/papers?q=temporally%20unbounded%20generation)。我们通过分布匹配蒸馏(https://huggingface.co/papers?q=Distribution%20Matching%20Distillation)结合时空自强迫(https://huggingface.co/papers?q=Spatio-Temporal%20Self-Forcing)对模型进行蒸馏,弥补时序和视角序列自回归中训练-推理曝光偏差的差距。在合成和真实数据上的大量实验表明,MV-Forcing使用单一少步学生模型(https://huggingface.co/papers?q=student%20model),能够在任意时长和视角数量下生成几何一致的动态场景多视角视频。

查看arXiv页面(https://arxiv.org/abs/2607.05376)查看PDF(https://arxiv.org/pdf/2607.05376)项目页面(https://galfiebelman.github.io/mv-forcing/)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2607.05376)

在您的智能体中使用本论文:

hf papers read 2607\.05376

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

无模型链接本论文

在模型README.md中引用 arxiv.org/abs/2607.05376 即可从此页面链接。

引用本论文的数据集0

无数据集链接本论文

在数据集README.md中引用 arxiv.org/abs/2607.05376 即可从此页面链接。

引用本论文的太空0

无Space链接本论文

在Space README.md中引用 arxiv.org/abs/2607.05376 即可从此页面链接。

包含本论文的收藏集0

无收藏集包含本论文

将本论文添加到收藏集(https://huggingface.co/new-collection)即可从此页面链接。

相似文章

Flex-Forcing:迈向统一的自回归与双向视频扩散模型

Hugging Face Daily Papers

介绍 Flex-Forcing,一个统一的训练和推理框架,通过灵活的时间与去噪步骤分块机制,使视频扩散模型能在双向和自回归两种模式下运行,实现更好的视频质量、长视频稳定性和更快的推理速度。