论文页面 - VGGT-Diff：视觉几何与扩散模型在稀疏视角新视角合成中的结合

来源：https://huggingface.co/papers/2609.33253 作者：

摘要

我们提出了 VGGT-Diff，一种用于稀疏视角新视角合成的几何引导多视角扩散模型。现有新视角合成方法面临一个根本性的权衡：基于重建的方法能保留已观测到的几何信息，但难以合成未见区域；而基于扩散的方法虽然具有强大的生成先验能力，却依赖于隐式的源-查询对应关系。VGGT-Diff 通过将视觉几何潜在表示从 VGGT-Ω 路由到预训练的视频扩散模型中，桥接了这两种技术路线。每个视觉标记都关联一个三维点及其置信度，然后通过一个置信度感知的视觉几何路由器将其转换为查询对齐的潜在条件，该路由器能同时保留前表面和后表面的几何证据。这些条件引导联合目标视角去噪过程，同时，点轨迹残差一致性正则化方法沿可靠的三维轨迹约束预测的去噪残差，提升了多视角稳定性。我们进一步引入了鲁棒的几何条件化策略，结合训练时正则化与推理时引导，以增强模型的鲁棒性。实验表明，在不同视角难度下的插值和外推任务中，本方法取得了具有竞争力或达到最优水平的性能。我们的代码已开源：https://github.com/chenkangjie1123/VGGT-Diff。

查看 arXiv 页面 (https://arxiv.org/abs/2609.33253) 查看 PDF (https://arxiv.org/pdf/2609.33253) 项目主页 (https://chenkangjie1123.github.io/VGGT-Diff/) GitHub (https://github.com/chenkangjie1123/VGGT-Diff) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.33253)

在你的 Agent 中获取此论文： hf papers read 2609\.33253 还没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.33253 以将其链接到此页面。

引用此论文的数据集 0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.33253 以将其链接到此页面。

引用此论文的 Spaces 0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.33253 以将其链接到此页面。

包含此论文的收藏集 1