论文页面 - SpatialScout：VLM 智能体能否主动探索并构建 3D 场景地图？

来源：https://huggingface.co/papers/2610.26659

摘要

SpatialScout 评估视觉-语言智能体在主动三维物体建图任务上的表现，揭示了其在构建精确度量地图方面存在的重大差距\。

空间智能要求智能体主动获取视觉证据，并将观测整合为对三维世界的连贯表征\。然而，空间问答只能提供有限的证据，无法充分说明模型能否通过自主探索构建准确的度量地图 (https://huggingface.co/papers?q=metric%20maps)\。我们推出了 SpatialScout，这是一个用于评估视觉-语言模型 (https://huggingface.co/papers?q=vision-language%20model)(VLM) 智能体在主动的物体级三维建图 (https://huggingface.co/papers?q=active%20object-level%203D%20mapping)任务中表现的基准\。SpatialScout 包含 80 个多样化的室内场景，其中共有 3,140 个目标物体\。在给定物体清单、RGB 观测、相机标定参数和相机位姿的情况下，智能体控制相机探索每个场景，并估计物体在统一坐标系中的中心位置\。该任务要求在有限的交互预算下，协调视点选择、跨视角关联 (https://huggingface.co/papers?q=cross-view%20association)、几何估计 (https://huggingface.co/papers?q=geometric%20estimation)和地图修正\。评估通过物体尺度的重叠得分综合衡量定位精度和目标覆盖率，并对缺失的预测施加惩罚\。使用前沿 VLM 开展的实验揭示了显著局限：表现最好的受评模型 Claude Opus 5.5 的平均重叠得分为 41.71%，其中 47.23% 的目标超过 0.5 的交并比 (https://huggingface.co/papers?q=intersection-over-union)(IoU) 阈值，而仅有 3.25% 超过 0.9\。这些结果表明，恢复粗略的物体布局与构建完整、精确的度量地图 (https://huggingface.co/papers?q=metric%20maps)之间存在显著差距\。SpatialScout 为开发能够通过主动感知 (https://huggingface.co/papers?q=active%20perception)构建可靠三维空间表征的智能体提供了定量测试平台\。代码已发布于 https://github.com/JesseZZZZZ/SpatialScout\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.26659)查看 PDF (https://arxiv.org/pdf/2610.26659)项目页面 (https://spatialscout.osslab-pku.org/)GitHub2 (https://github.com/JesseZZZZZ/SpatialScout)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.26659)

在你的智能体中获取这篇论文：

hf papers read 2610\.26659

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型关联这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.26659，即可在此页面建立链接\。

引用这篇论文的数据集0

没有数据集关联这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.26659，即可在此页面建立链接\。

引用这篇论文的 Spaces0

没有 Space 关联这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.26659，即可在此页面建立链接\。

收录这篇论文的合集0

没有合集收录这篇论文

将这篇论文添加到一个合集 (https://huggingface.co/new-collection)，即可在此页面建立链接\。