论文页面 - 用想象力思考：基于世界模拟器的智能体视觉空间推理

来源: https://huggingface.co/papers/2606.06476

摘要

Astra 是一个智能体空间推理框架，通过将强化学习训练的策略与用于生成新视角观察的世界模拟器相结合，用动作条件视觉想象增强视觉语言模型。

尽管视觉语言模型显示出强大的视觉推理能力，但其空间推理能力在很大程度上仍局限于观察到的图像和面向文本的思维链。当只有有限的自我中心观察可用时，它们常常难以推断未观察到的布局、保持跨视图一致性以及从替代视角进行推理。在这项工作中，我们将该问题作为“用想象力思考”来研究，其中 VLM 在推理过程中通过与世界模拟器交互来主动获取想象的视觉证据。我们提出 Astra，这是一个智能体空间推理框架，赋予 VLM 动作条件视觉想象能力。具体来说，Astra 将 Astra-VL（一个经过强化学习训练的 VLM 策略）与 Astra-WM（一个基于 Bagel 的世界模拟器）相结合，该模拟器能从上下文图像和自然语言相机运动生成新视角观察。为了提供可靠的想象证据，Astra-WM 通过视图一致性微调进行训练，以提高跨视图的姿态和内容一致性。在强化学习阶段，我们提出了一种世界模拟器在环的两阶段强化学习课程，以稳定工具使用探索，并提升模型仅在想象观察优于直接回答时调用模拟器的能力。实验证明，世界模拟器和智能体策略都是必要的：Astra-WM 将模拟器增强的 Gemini-3-Flash 在 MMSI-Bench 上的结果从 45.1 提升到 49.5，而 Astra-VL 将 Qwen3-VL 骨干网络在 MMSI-Bench 上从 29.8 提升到 38.8，在 MindCube 上从 36.8 提升到 42.7。这些结果表明，想象的观察可以提供有用的空间证据，但有效的世界模型增强推理需要学习何时、何地以及如何想象。

查看 arXiv 页面 (https://arxiv.org/abs/2606.06476)查看 PDF (https://arxiv.org/pdf/2606.06476)项目页面 (https://zcmax.github.io/projects/Thinking-With-Imagination/)GitHub10 (https://github.com/ZCMax/Thinking-With-Imagination)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.06476)

在你的智能体中获取这篇论文：

hf papers read 2606.06476

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2606.06476 即可在此页面链接它。

引用此论文的数据集0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2606.06476 即可在此页面链接它。

引用此论文的 Spaces0

没有链接此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2606.06476 即可在此页面链接它。

包含此论文的收藏0

没有包含此论文的收藏

将此论文添加到收藏即可从本页链接。