同一场景,两种深度:探索单目基础模型中的几何模糊性
摘要
引入MultiDepth-3k基准,用于评估单目深度基础模型中的深度层偏好,并展示拉普拉斯视觉提示(Laplacian Visual Prompting)可以改变报告的深度层,表明不同模型之间存在互补的几何假设。
查看缓存全文
缓存时间: 2026/06/30 15:37
论文页面 - 一场景,两深度:探索单目基础模型中的几何歧义
来源:https://huggingface.co/papers/2606.29600
摘要
一个忠实的3D世界表示应当考虑分层几何结构,即单条相机光线可能包含多个可见且几何上有效的表面。然而,单目深度估计将此结构简化为每个像素的一个标量深度值。透明场景使这种歧义变得可测量:同一条光线可以穿过前景玻璃并观察到背景,这使得监督目标成为一种依赖于标注、数据和训练的约定,而非场景固有的真实值。学习到的预测器通过其深度层偏好暴露了这种约定。我们引入了 MultiDepth-3k (MD-3k),这是一个稀疏的双层序数基准,用于测量深度层偏好和多层空间关系准确性 (ML-SRA)。在 MD-3k 上,领先的深度基础模型在标准 RGB 输入下表现出多样化的层偏好,表明相同的分层几何结构在不同模型间可能以不同方式解析。我们进一步发现,拉普拉斯视觉提示 (LVP) 是一种无训练的谱输入变换,可以显著改变某些冻结模型的报告层。最强的 RGB/LVP 配对 DAv2-L 达到了 75.5% 的 ML-SRA。这些结果表明,深度基础模型可能表达了互补的几何假设,而这些假设是标准 RGB 推理所未能表达的。我们邀请社区通过歧义意识的视角重新思考深度监督和评估,在这个视角中,多个有效的 3D 解释被视为有待测量、保留和表达的几何结构。
查看 arXiv 页面 (https://arxiv.org/abs/2606.29600) 查看 PDF (https://arxiv.org/pdf/2606.29600) GitHub (https://github.com/Xiaohao-Xu/Ambiguity-in-Space) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.29600)
在您的智能体中获取此论文:
hf papers read 2606.29600
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
没有模型链接此论文
在模型的 README.md 中引用 arxiv.org/abs/2606.29600 以将其链接到此页面。
引用此论文的数据集 0
没有数据集链接此论文
在数据集的 README.md 中引用 arxiv.org/abs/2606.29600 以将其链接到此页面。
引用此论文的空间 0
没有空间链接此论文
在空间的 README.md 中引用 arxiv.org/abs/2606.29600 以将其链接到此页面。
包含此论文的集合 0
没有集合包含此论文
将此论文添加到集合 (https://huggingface.co/new-collection) 以将其链接到此页面。
相似文章
基于多视角基础模型的统一全景几何估计
PaGeR 适配了多视角透视基础模型 Depth Anything 3,利用固定的立方体贴图表示,从单张等距柱状投影图像中预测尺度不变深度、度量深度、表面法线和天空分割,同时保持 VRAM 和运行时间恒定。本文还发布了 ZüriPano 和 PanoInfinigen 数据集。
几何至关重要:用于学习语义对应的3D基础先验
本文介绍了一个后训练框架,利用SAM3D的3D先验来改进2D基础特征中的语义对应,解决了左右混淆和重复部分等问题。该方法使用实例特定的3D重建,无需姿态注释或球面几何捷径。
基于传感器有效性掩码的掩码深度建模:在8个掩码/稀疏深度基准测试中的7个上取得最佳RMSE,以及受控编码器初始化研究[R]
本文提出了基于传感器有效性掩码的掩码深度建模,在8个掩码/稀疏深度基准测试中的7个上取得了最佳RMSE,并进行了受控编码器初始化研究。
超越3D VQA:将3D空间先验注入视觉语言模型以增强几何推理
本文提出GASP框架,通过深度监督结合对比损失和深度一致性损失将几何先验注入视觉语言模型,在3D空间推理基准上取得了显著提升,且无需使用3D VQA数据。
解锁VLM中的稠密度量深度估计
DepthVLM通过轻量级深度头和统一的视觉-文本监督增强了视觉语言模型,实现了稠密度量深度估计和改进的3D空间推理,同时保持了多模态能力。