SpatialASM:内化主动心智化以实现空间推理
摘要
该论文提出了 SpatialASM 框架,通过新视角合成支架训练大型视觉语言模型,使其能够主动规划与任务相关的视角,并在脑海中想象缺失的空间证据,从而在推理时无需额外视角的情况下,提升四种骨干模型在七项基准测试中的空间推理能力。
查看缓存全文
缓存时间: 2026/10/13 02:43
论文页面 - SpatialASM:内化主动心理模拟以实现空间推理
来源:https://huggingface.co/papers/2610.13832 通过 SpatialASM,我们探索大型视觉语言模型(LVLM)能否超越被动观察给定图像,转而通过规划与任务相关的视点,并在脑海中想象从这些视点应当看到的内容,进行主动推理.
我们提出主动空间心理模拟 (ASM),并围绕它构建了一个可扩展的训练框架. SpatialASM 使用以环境为中心的新视角生成器作为训练阶段的辅助支架,合成显式的规划-想象-推理轨迹,以及可自动验证的视角采择任务. 通过这种方式,模型既能学会何时寻找缺失的空间证据,也能学会如何在内部重建这些证据,而无需在推理阶段使用额外视图或渲染器.
这是我们将更接近人类的主动空间探索方式引入 LVLM,并缓解高质量空间推理监督数据稀缺问题的一次尝试. 在四种 LVLM 骨干模型和七项空间基准测试中,SpatialASM 在保留通用视觉能力的同时,提升了空间推理表现.
我们期待听到您的想法和反馈!
图片 (https://cdn-uploads.huggingface.co/production/uploads/6732e5afac0998d059757678/k46YJ1EhjRSRhGbyk0_s2.png)
相似文章
Spatial Memory Agent:基于经验的过程记忆用于空间智能
本文介绍了 Spatial Memory Agent (SMA),一种运行时框架,通过验证器引导的反思和可复用记忆,在不进行参数更新或使用外部工具的情况下提升冻结视觉语言模型的空间推理能力,在五个基准和四个基础 VLM 上取得了强劲的结果。
用想象力思考:基于世界模拟器的主动式视觉空间推理
本文提出了Astra,一个主动式空间推理框架,将经过强化学习训练的VLM策略与一个世界模拟器结合起来,生成新视角的观察结果,以改进视觉语言模型中的空间推理能力。
空间记忆智能:为世界模型注入理解驱动的长期记忆
论文提出了空间记忆智能(Spatial Memory Intelligence, SMI)框架,它首次采用理解模型(MLLM)在长视频世界模型中系统化地管理空间记忆,具体通过四个原子操作实现:空间聚类、簇内稀疏化、动作感知检索以及可靠性感知过滤。实验表明,该方法在多种世界模型主干上均提升了记忆稀疏性、生成稳定性和空间一致性。
SpatialAct: 探索VLM智能体在3D场景中的空间推理到行动的能力
SpatialAct是一个新的基于模拟器的基准,用于探索VLM智能体是否能在多轮反馈设置下进行连贯的空间推理并将其转化为3D环境中的行动。实验揭示了一个显著的推理到行动差距:当前的VLM尽管在孤立推理任务上表现良好,但难以维持空间信念并产生可靠的行为。
Spatial-Interactor: 通过与可观测物理世界的交互学习空间推理
Spatial-Interactor是一个框架,通过与物理世界的交互训练视觉语言模型以增强空间推理能力,采用三级课程和两阶段训练策略来改进状态转移建模和长期集成。