同一场景,两种深度:探索单目基础模型中的几何模糊性

Hugging Face Daily Papers 论文

摘要

引入MultiDepth-3k基准,用于评估单目深度基础模型中的深度层偏好,并展示拉普拉斯视觉提示(Laplacian Visual Prompting)可以改变报告的深度层,表明不同模型之间存在互补的几何假设。

一个忠实的3D世界表示应当考虑分层几何结构,其中单条相机射线可能包含多个可见且几何有效的表面。然而,单目深度估计将该结构简化为每个像素的一个标量深度。透明场景使这种模糊性变得可测量:同一条射线可以穿过前景玻璃并观察到背景,从而将监督目标转化为一种由标注、数据和训练共同决定的约定,而非场景固有的真相。学习到的预测器将其深度层偏好暴露为这种约定。我们引入了MultiDepth-3k(MD-3k),一个稀疏的两层序数基准,用于测量深度层偏好和多层空间关系准确度(ML-SRA)。在MD-3k上,领先的深度基础模型在标准RGB输入下展现出多样的层偏好,表明相同的分层几何结构可以在不同模型中以不同方式解析。我们进一步发现,拉普拉斯视觉提示(LVP)——一种无需训练的频谱输入变换——可以显著改变某些冻结模型报告的层。最强的RGB/LVP组合DAv2-L达到了75.5%的ML-SRA。这些结果表明,深度基础模型可能表达了标准RGB推理未表达的互补几何假设。我们邀请社区通过一种感知模糊性的视角重新思考深度监督与评估,将多个有效的3D解释视为需要测量、保存和表达的几何结构。
查看原文
查看缓存全文

缓存时间: 2026/06/30 15:37

论文页面 - 一场景,两深度:探索单目基础模型中的几何歧义

来源:https://huggingface.co/papers/2606.29600

摘要

一个忠实的3D世界表示应当考虑分层几何结构,即单条相机光线可能包含多个可见且几何上有效的表面。然而,单目深度估计将此结构简化为每个像素的一个标量深度值。透明场景使这种歧义变得可测量:同一条光线可以穿过前景玻璃并观察到背景,这使得监督目标成为一种依赖于标注、数据和训练的约定,而非场景固有的真实值。学习到的预测器通过其深度层偏好暴露了这种约定。我们引入了 MultiDepth-3k (MD-3k),这是一个稀疏的双层序数基准,用于测量深度层偏好和多层空间关系准确性 (ML-SRA)。在 MD-3k 上,领先的深度基础模型在标准 RGB 输入下表现出多样化的层偏好,表明相同的分层几何结构在不同模型间可能以不同方式解析。我们进一步发现,拉普拉斯视觉提示 (LVP) 是一种无训练的谱输入变换,可以显著改变某些冻结模型的报告层。最强的 RGB/LVP 配对 DAv2-L 达到了 75.5% 的 ML-SRA。这些结果表明,深度基础模型可能表达了互补的几何假设,而这些假设是标准 RGB 推理所未能表达的。我们邀请社区通过歧义意识的视角重新思考深度监督和评估,在这个视角中,多个有效的 3D 解释被视为有待测量、保留和表达的几何结构。

查看 arXiv 页面 (https://arxiv.org/abs/2606.29600) 查看 PDF (https://arxiv.org/pdf/2606.29600) GitHub (https://github.com/Xiaohao-Xu/Ambiguity-in-Space) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.29600)

在您的智能体中获取此论文:

hf papers read 2606.29600

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2606.29600 以将其链接到此页面。

引用此论文的数据集 0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2606.29600 以将其链接到此页面。

引用此论文的空间 0

没有空间链接此论文

在空间的 README.md 中引用 arxiv.org/abs/2606.29600 以将其链接到此页面。

包含此论文的集合 0

没有集合包含此论文

将此论文添加到集合 (https://huggingface.co/new-collection) 以将其链接到此页面。

相似文章

基于多视角基础模型的统一全景几何估计

Hugging Face Daily Papers

PaGeR 适配了多视角透视基础模型 Depth Anything 3,利用固定的立方体贴图表示,从单张等距柱状投影图像中预测尺度不变深度、度量深度、表面法线和天空分割,同时保持 VRAM 和运行时间恒定。本文还发布了 ZüriPano 和 PanoInfinigen 数据集。

几何至关重要:用于学习语义对应的3D基础先验

Hugging Face Daily Papers

本文介绍了一个后训练框架,利用SAM3D的3D先验来改进2D基础特征中的语义对应,解决了左右混淆和重复部分等问题。该方法使用实例特定的3D重建,无需姿态注释或球面几何捷径。

解锁VLM中的稠密度量深度估计

Hugging Face Daily Papers

DepthVLM通过轻量级深度头和统一的视觉-文本监督增强了视觉语言模型,实现了稠密度量深度估计和改进的3D空间推理,同时保持了多模态能力。