SpatialASM:内化主动心智化以实现空间推理

Hugging Face Daily Papers 论文

摘要

该论文提出了 SpatialASM 框架,通过新视角合成支架训练大型视觉语言模型,使其能够主动规划与任务相关的视角,并在脑海中想象缺失的空间证据,从而在推理时无需额外视角的情况下,提升四种骨干模型在七项基准测试中的空间推理能力。

在解决复杂的空间推理任务时,普通人会自然地从与任务相关的视角重新审视场景,并在脑海中重建这些视角下的空间布局。但大型视觉语言模型(LVLM)能否主动以同样的方式思考?我们将这种能力称为主动空间心智化(Active Spatial Mentalization,ASM),它是视觉智能的内在组成部分,但在当前的 LVLM 中仍远未得到充分发展。为弥合这一差距,我们提出了 SpatialASM,这是一个可扩展框架,通过训练阶段的空间模拟,将 ASM 内化到 LVLM 中。SpatialASM 使用以环境为中心的新视角生成器,为假设视角提供视觉证据支撑,并生成两种互补的监督形式:i)显式 ASM 轨迹,教会 LVLM 在空间推理过程中何时以及如何自适应地调用视角规划与想象;ii)自动构建的视角采择任务,进一步增强以视角为条件的场景想象能力。在七个基准测试中,SpatialASM 提升了基于四种骨干架构的 LVLM 的空间推理性能,同时保留了它们原有的通用视觉能力。这些基准涵盖了从相对偏重感知的空间理解,到需要多图像、跨视角及视角变换推理的更具挑战性的任务。实验结果表明,我们的方法提高了七个空间基准上的平均准确率。此外,ASM 轨迹的合成为缓解空间思维链(Chain-of-Thought,CoT)监督数据的稀缺提供了一条可扩展的途径,从而激发主动视角探索和心智场景模拟能力。
查看原文
查看缓存全文

缓存时间: 2026/10/13 02:43

论文页面 - SpatialASM:内化主动心理模拟以实现空间推理

来源:https://huggingface.co/papers/2610.13832 通过 SpatialASM,我们探索大型视觉语言模型(LVLM)能否超越被动观察给定图像,转而通过规划与任务相关的视点,并在脑海中想象从这些视点应当看到的内容,进行主动推理.

我们提出主动空间心理模拟 (ASM),并围绕它构建了一个可扩展的训练框架. SpatialASM 使用以环境为中心的新视角生成器作为训练阶段的辅助支架,合成显式的规划-想象-推理轨迹,以及可自动验证的视角采择任务. 通过这种方式,模型既能学会何时寻找缺失的空间证据,也能学会如何在内部重建这些证据,而无需在推理阶段使用额外视图或渲染器.

这是我们将更接近人类的主动空间探索方式引入 LVLM,并缓解高质量空间推理监督数据稀缺问题的一次尝试. 在四种 LVLM 骨干模型和七项空间基准测试中,SpatialASM 在保留通用视觉能力的同时,提升了空间推理表现.

我们期待听到您的想法和反馈!

图片 (https://cdn-uploads.huggingface.co/production/uploads/6732e5afac0998d059757678/k46YJ1EhjRSRhGbyk0_s2.png)

相似文章

Spatial Memory Agent:基于经验的过程记忆用于空间智能

Hugging Face Daily Papers

本文介绍了 Spatial Memory Agent (SMA),一种运行时框架,通过验证器引导的反思和可复用记忆,在不进行参数更新或使用外部工具的情况下提升冻结视觉语言模型的空间推理能力,在五个基准和四个基础 VLM 上取得了强劲的结果。

空间记忆智能:为世界模型注入理解驱动的长期记忆

Hugging Face Daily Papers

论文提出了空间记忆智能(Spatial Memory Intelligence, SMI)框架,它首次采用理解模型(MLLM)在长视频世界模型中系统化地管理空间记忆,具体通过四个原子操作实现:空间聚类、簇内稀疏化、动作感知检索以及可靠性感知过滤。实验表明,该方法在多种世界模型主干上均提升了记忆稀疏性、生成稳定性和空间一致性。

SpatialAct: 探索VLM智能体在3D场景中的空间推理到行动的能力

Hugging Face Daily Papers

SpatialAct是一个新的基于模拟器的基准,用于探索VLM智能体是否能在多轮反馈设置下进行连贯的空间推理并将其转化为3D环境中的行动。实验揭示了一个显著的推理到行动差距:当前的VLM尽管在孤立推理任务上表现良好,但难以维持空间信念并产生可靠的行为。