论文页面 - Representing the Unseen: Rethinking Visual Imagination for Spatial Reasoning

来源: https://huggingface.co/papers/2610.37437

摘要

ImagiRep 揭示了空间推理的收益不仅来自 RGB，还需要多样化的表示；GEARS 自适应地选择表示形式，以提升对未观测状态的推理能力。

视觉世界模型（Visual world models）通过生成未观测状态的 RGB 视图，日益支持空间推理（spatial reasoning）。然而，RGB 之所以成为默认接口，主要是因为它非常适合视觉生成，而不一定是下游推理最有效的表示形式。不同的空间问题可能受益于对同一想象状态的不同表示：俯视几何（top-down geometry）有助于全局距离比较，而全景视图（panoramic views）则为开放空间的推理提供更广泛的上下文。为了隔离表征在空间想象中的作用，我们提出了 ImagiRep，这是一个基于模拟器的基准，包含 922 个问题，涵盖两种设置（视角想象和跨视角整合）下的七种问题类型，为同一未观测状态提供真实的 RGB 以及六种替代表示（如深度、全景视图和俯视几何）。这一受控对比表明，即使准确的想象 RGB 也不能保证准确的空间推理，且不同的问题受益于不同的表示形式。从世界模型估计状态推导出的表示也呈现类似趋势。值得注意的是，仅使用估计的 RGB 反而可能误导空间推理，而替代表示则保留了互补的优势。基于这些发现，我们提出了 GEARS，一种轻量级的测试时自适应表示选择策略，超越了现有空间想象方法，并表明对未观测状态的推理需要的不仅仅是生成 RGB 视图。

查看 arXiv 页面（https://arxiv.org/abs/2610.37437） 查看 PDF（https://arxiv.org/pdf/2610.37437） 添加到收藏夹（https://huggingface.co/login?next=%2Fpapers%2F2610.37437）

在您的 agent 中获取本文：

hf papers read 2610.37437

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联本文。

在模型 README.md 中引用 arxiv.org/abs/2610.37437，即可从本页面链接该模型。

引用本文的数据集 1

Imagirep/ImagiRep Viewer • 更新于约 5 小时前 • 922（https://huggingface.co/datasets/Imagirep/ImagiRep）

引用本文的 Space 0

暂无 Space 关联本文。

在 Space README.md 中引用 arxiv.org/abs/2610.37437，即可从本页面链接该 Space。

收录本文的合集 0

暂无合集收录本文。

将本文添加到合集（https://huggingface.co/new-collection）即可从本页面链接该合集。