从生成视角探索空间智能
摘要
研究者推出首个量化多模态模型生成式空间智能的基准 GSI-Bench,通过在图像生成过程中评估 3D 空间约束遵守情况来衡量能力。在合成数据集上微调可显著提升空间编辑保真度与下游空间理解,证明生成式训练能增强空间推理。
查看缓存全文
缓存时间: 2026/04/23 07:47
论文页面 - 从生成视角探索空间智能
来源:https://huggingface.co/papers/2604.20570
作者:
,
,
,
,
,
,
,
,
,
摘要
生成式空间智能基准通过真实与合成数据集,评估并提升图像生成中的三维空间约束操控能力。
空间智能对多模态大模型至关重要,然而现有基准仅从“理解”角度评测。我们追问:现代生成式或统一多模态模型是否具备生成式空间智能(GSI)——即在图像生成过程中尊重并操控三维空间约束的能力?该能力能否被度量与增强?为此,我们提出GSI-Bench,首个通过空间接地图像编辑量化 GSI 的基准。它包含两大互补组件:GSI-Real,一套经三维先验引导生成与过滤流程构建的高质量真实世界数据集;GSI-Syn,一个具备可控空间操作且标签全自动的大规模合成基准。配合统一评测协议,GSI-Bench 实现可扩展、模型无关的空间合规性与编辑保真度评估。实验表明,在 GSI-Syn 上对统一多模态模型进行微调可同时在合成与真实任务上带来显著提升,并意外增强下游空间理解能力。这首次明确证明生成式训练能实质强化空间推理,为提升多模态模型空间智能开辟新路径。
查看 arXiv 页面 (https://arxiv.org/abs/2604.20570)
查看 PDF (https://arxiv.org/pdf/2604.20570)
项目主页 (https://aim-uofa.github.io/GSI-Bench/)
GitHub5 (https://github.com/aim-uofa/GSI-Bench)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.20570)
在智能体中获取本文:
hf papers read 2604.20570
尚未安装最新 CLI?
curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 0
暂无模型链接本文
在模型 README.md 中引用 arxiv.org/abs/2604.20570,即可在此页面显示链接。
引用本文的数据集 0
暂无数据集链接本文
在数据集 README.md 中引用 arxiv.org/abs/2604.20570,即可在此页面显示链接。
引用本文的 Spaces 0
暂无 Space 链接本文
在 Space README.md 中引用 arxiv.org/abs/2604.20570,即可在此页面显示链接。
包含本文的合辑 0
暂无合辑包含本文
将本文添加到合辑,即可在此页面显示链接。
相似文章
VGenST-Bench:通过主动视频合成进行时空推理的基准测试
VGenST-Bench是一个基准测试,利用生成模型主动合成受控的时空推理场景,配备多智能体流水线和人工质量控制,用于评估多模态大语言模型。
ESI-Bench:迈向闭环感知-行动的具身空间智能
介绍了 ESI-BENCH,这是一个基于 OmniGibson 构建的全面具身空间智能基准,涵盖 10 个任务类别和 29 个子类别。实验表明,主动探索显著优于被动方法,失败主要源于行动盲视而非感知,揭示了模型与人类相比的元认知差距。
SpatialWorld: 多模态智能体在真实世界任务中的交互式空间推理基准测试
SpatialWorld是一个统一的基准测试,用于评估多模态智能体在各种真实世界任务中的交互式空间推理能力。结果表明,即使是最强大的模型,其任务成功率也很低。
SpatialBench: 你的空间基础模型是全能选手吗?
SpatialBench是一个综合基准,用于评估跨不同领域和任务的空间基础模型,揭示了当前模型的局限性,并引入了DA-Next-5M和DA-Next以推动空间表示学习。
OVO-S-Bench:面向多模态大语言模型流式空间智能的层次化基准测试
OVO-S-Bench 构建了一个全面的人工标注基准测试,涵盖 348 个视频中的 1,680 道问题,用于评估多模态大语言模型的流式空间智能能力。结果显示,即便是表现最佳的模型(Gemini-3.1-Pro)也比人类专家低 27 分。该基准测试揭示了若干关键局限:以他者为中心的空间映射是主要瓶颈,而思维链推理则会放大空间错误。