MetaView: 单目新视角合成与尺度感知的隐式几何先验
摘要
MetaView 提出了一种基于扩散的单目新视角合成框架,该框架结合了隐式几何先验与度量深度引导,能够在单张图像的大视角变化下实现一致且可控的渲染。
查看缓存全文
缓存时间: 2026/07/16 05:42
论文页面 - MetaView: 基于单目图像与尺度感知隐式几何先验的新视图合成
来源:https://huggingface.co/papers/2607.12000 发布于 7月13日
·
由https://huggingface.co/KaiiWuu1993 提交
Wu Kai (https://huggingface.co/KaiiWuu1993)于 7月16日
摘要
当前的视觉生成模型能够生成高质量的内容,但它们缺乏对空间结构的连贯感知。现有的生成式新视图合成方法通常会引入显式几何先验,这虽然保证了空间一致性,但本质上限制了在大视角变化下的泛化能力。相比之下,近期的一些交互式生成方法倾向于采用隐式场景建模,在牺牲精确相机控制和几何一致性的前提下提供了更大的灵活性。在本文中,我们提出了 MetaView,一个基于扩散模型的单目新视图合成框架,它能从单张图像实现大视角变化下的渲染。我们的关键洞察是,将隐式几何建模与最小但必要的显式 3D 线索相结合:我们从一个前馈几何感知网络中引入隐式几何先验来约束结构,而无需施加严格的重建流程,同时利用度量深度将生成过程锚定到度量尺度。这种设计使 MetaView 能够同时实现几何一致性和精确可控性。大量实验表明,在具有挑战性的单目大视角变化场景下,MetaView 显著优于现有方法,并展现出卓越的泛化能力。我们的代码已公开,可在 https://github.com/KlingAIResearch/MetaView 获取。
查看 arXiv 页面 (https://arxiv.org/abs/2607.12000)查看 PDF (https://arxiv.org/pdf/2607.12000)项目页面 (https://prototypenx.github.io/MetaView/)GitHub (https://github.com/KlingAIResearch/MetaView)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.12000)
在您的 agent 中获取本篇论文:
hf papers read 2607.12000
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本论文的模型1
Kwai-Kolors/MetaView (https://huggingface.co/Kwai-Kolors/MetaView)
引用本论文的数据集0
没有链接本论文的数据集
请在数据集的 README.md 中引用 arxiv.org/abs/2607.12000 以从此页面链接。
引用本论文的 Spaces1
包含本论文的集合0
没有包含本论文的集合
将本论文添加到一个集合 (https://huggingface.co/new-collection) 中以从此页面链接。
相似文章
MoCam:通过结构化去噪动态实现统一的新视角合成
MoCam 是一篇研究论文,介绍了一种基于扩散的统一新视角合成框架,该框架通过动态协调几何和外观先验,提高了对几何误差的鲁棒性。
RayDer:从真实世界视频中实现可扩展的自监督新颖视图合成
RayDer 是一个统一的前馈变换器,它将相机估计、场景重建和渲染整合到单一架构中,用于从真实世界视频进行自监督的新颖视图合成,实现了清晰的幂律扩展和强大的零样本性能。
MVTrack4Gen:多视角点跟踪作为4D视频生成的几何监督
MVTrack4Gen提出了一种训练框架,利用多视角点跟踪作为几何监督来增强运动感知扩散模型,在从单目视频生成新视角视频中实现了最先进的几何一致性和运动保真度。
基于多视角基础模型的统一全景几何估计
PaGeR 适配了多视角透视基础模型 Depth Anything 3,利用固定的立方体贴图表示,从单张等距柱状投影图像中预测尺度不变深度、度量深度、表面法线和天空分割,同时保持 VRAM 和运行时间恒定。本文还发布了 ZüriPano 和 PanoInfinigen 数据集。
同一场景,两种深度:探索单目基础模型中的几何模糊性
引入MultiDepth-3k基准,用于评估单目深度基础模型中的深度层偏好,并展示拉普拉斯视觉提示(Laplacian Visual Prompting)可以改变报告的深度层,表明不同模型之间存在互补的几何假设。