Paper page - MVTrack4Gen: 多视角点跟踪作为4D视频生成的几何监督

来源: https://huggingface.co/papers/2606.26087

作者:

,

,

,

,

,

,

,

,

,

摘要

一种新颖视角视频合成方法，通过多视角点跟踪监督增强运动感知扩散模型，以提升几何一致性和运动保真度。

从单目参考视频沿目标相机轨迹合成新颖视角视频，需要同时保证相对于参考视频的几何一致性和运动保真度。现有基于显式3D表示的方法受限于现成重建模块的精度，这些模块在处理单目视频中的动态物体时往往产生不准确的几何结构。相比之下，仅相机条件方法能够实现高视觉质量，但常难以保持几何和运动一致性。本文提出MVTrack4Gen（用于新颖视角生成的多视角点跟踪），一种运动感知训练框架，利用多视角点跟踪作为仅相机条件新颖视角视频扩散模型的额外几何与运动监督信号。我们的关键发现是：特定注意力层编码了强对应线索，其中查询特征在跨视角和跨时间几何对应位置上关注关键特征，而这些对应的错位导致了运动不一致性。基于这一观察，我们将这些特征路由到一个辅助多视角跟踪头，并联合训练扩散模型与点跟踪目标。通过显式增强这些运动感知对应关系，MVTrack4Gen改进现有模型，使其更好地遵循参考视图中的运动并保持跨视角几何一致性。在多个基准测试中，我们的方法实现了最先进的几何一致性和有竞争力的相机精度。

查看 arXiv 页面 (https://arxiv.org/abs/2606.26087)
查看 PDF (https://arxiv.org/pdf/2606.26087)
项目页面 (https://cvlab-kaist.github.io/MVTrack4Gen/)
GitHub20 (https://github.com/cvlab-kaist/MVTrack4Gen)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.26087)

在您的代理中获取这篇论文：

hf papers read 2606.26087

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2606.26087 以在此页面链接。

引用本文的数据集0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.26087 以在此页面链接。

引用本文的空间0

没有空间关联此论文

在空间 README.md 中引用 arxiv.org/abs/2606.26087 以在此页面链接。

包含本文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 以在此页面链接。