MetaView: 单目新视角合成与尺度感知的隐式几何先验

Hugging Face Daily Papers 论文

摘要

MetaView 提出了一种基于扩散的单目新视角合成框架,该框架结合了隐式几何先验与度量深度引导,能够在单张图像的大视角变化下实现一致且可控的渲染。

当前的视觉生成模型能够生成高质量内容,但缺乏对空间结构的一致感知。现有的生成式新视角合成方法通常引入显式几何先验,这些先验强制空间一致性,但本质上限制了大视角变化下的泛化能力。相比之下,最近的交互式生成方法倾向于隐式场景建模,提供更大的灵活性,但以牺牲精确的相机控制和几何一致性为代价。在本文中,我们提出了 MetaView,一个基于扩散的单目新视角合成框架,能够从单张图像实现大视角变化下的渲染。我们的关键思路是将隐式几何建模与最小但必要的显式3D线索相结合:从前馈几何感知网络中引入隐式几何先验以正则化结构,而无需施加限制性的重建管线,同时利用度量深度将生成过程锚定到度量尺度。这种设计使 MetaView 能够同时实现几何一致性和精确可控性。大量实验表明,在具有挑战性的单目大视角变化下,MetaView 显著优于现有方法,并展现出卓越的泛化能力。我们的代码公开发布于 https://github.com/KlingAIResearch/MetaView。
查看原文
查看缓存全文

缓存时间: 2026/07/16 05:42

论文页面 - MetaView: 基于单目图像与尺度感知隐式几何先验的新视图合成

来源:https://huggingface.co/papers/2607.12000 发布于 7月13日

·

由https://huggingface.co/KaiiWuu1993 提交

Wu Kai (https://huggingface.co/KaiiWuu1993)于 7月16日

摘要

当前的视觉生成模型能够生成高质量的内容,但它们缺乏对空间结构的连贯感知。现有的生成式新视图合成方法通常会引入显式几何先验,这虽然保证了空间一致性,但本质上限制了在大视角变化下的泛化能力。相比之下,近期的一些交互式生成方法倾向于采用隐式场景建模,在牺牲精确相机控制和几何一致性的前提下提供了更大的灵活性。在本文中,我们提出了 MetaView,一个基于扩散模型的单目新视图合成框架,它能从单张图像实现大视角变化下的渲染。我们的关键洞察是,将隐式几何建模与最小但必要的显式 3D 线索相结合:我们从一个前馈几何感知网络中引入隐式几何先验来约束结构,而无需施加严格的重建流程,同时利用度量深度将生成过程锚定到度量尺度。这种设计使 MetaView 能够同时实现几何一致性和精确可控性。大量实验表明,在具有挑战性的单目大视角变化场景下,MetaView 显著优于现有方法,并展现出卓越的泛化能力。我们的代码已公开,可在 https://github.com/KlingAIResearch/MetaView 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2607.12000)查看 PDF (https://arxiv.org/pdf/2607.12000)项目页面 (https://prototypenx.github.io/MetaView/)GitHub (https://github.com/KlingAIResearch/MetaView)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.12000)

在您的 agent 中获取本篇论文:

hf papers read 2607.12000

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型1

Kwai-Kolors/MetaView (https://huggingface.co/Kwai-Kolors/MetaView)

引用本论文的数据集0

没有链接本论文的数据集

请在数据集的 README.md 中引用 arxiv.org/abs/2607.12000 以从此页面链接。

引用本论文的 Spaces1

包含本论文的集合0

没有包含本论文的集合

将本论文添加到一个集合 (https://huggingface.co/new-collection) 中以从此页面链接。

相似文章

基于多视角基础模型的统一全景几何估计

Hugging Face Daily Papers

PaGeR 适配了多视角透视基础模型 Depth Anything 3,利用固定的立方体贴图表示,从单张等距柱状投影图像中预测尺度不变深度、度量深度、表面法线和天空分割,同时保持 VRAM 和运行时间恒定。本文还发布了 ZüriPano 和 PanoInfinigen 数据集。