从生成视角探索空间智能

Hugging Face Daily Papers 论文

摘要

研究者推出首个量化多模态模型生成式空间智能的基准 GSI-Bench,通过在图像生成过程中评估 3D 空间约束遵守情况来衡量能力。在合成数据集上微调可显著提升空间编辑保真度与下游空间理解,证明生成式训练能增强空间推理。

空间智能对多模态大模型至关重要,但现有基准主要从“理解”角度评估。我们探究现代生成式或统一多模态模型是否具备“生成式空间智能”(GSI)——在图像生成中尊重并操控 3D 空间约束的能力,以及该能力能否被测量与提升。我们提出首个量化 GSI 的基准 GSI-Bench,通过空间落地的图像编辑任务进行评估,包含两大互补组件:GSI-Real,基于 3D 先验引导生成与过滤流程构建的高质量真实世界数据集;GSI-Syn,具备可控空间操作与全自动标注的大规模合成基准。配合统一评估协议,GSI-Bench 实现对空间合规性与编辑保真度的可扩展、模型无关评估。实验表明,在 GSI-Syn 上微调统一多模态模型,在合成与真实任务上均带来显著提升,并意外增强下游空间理解,首次明确证明生成式训练可实质强化空间推理,为多模态模型空间智能的提升开辟新路径。
查看原文
查看缓存全文

缓存时间: 2026/04/23 07:47

论文页面 - 从生成视角探索空间智能

来源:https://huggingface.co/papers/2604.20570
作者:

,

,

,

,

,

,

,

,

,

摘要

生成式空间智能基准通过真实与合成数据集,评估并提升图像生成中的三维空间约束操控能力。

空间智能对多模态大模型至关重要,然而现有基准仅从“理解”角度评测。我们追问:现代生成式或统一多模态模型是否具备生成式空间智能(GSI)——即在图像生成过程中尊重并操控三维空间约束的能力?该能力能否被度量与增强?为此,我们提出GSI-Bench,首个通过空间接地图像编辑量化 GSI 的基准。它包含两大互补组件:GSI-Real,一套经三维先验引导生成与过滤流程构建的高质量真实世界数据集;GSI-Syn,一个具备可控空间操作且标签全自动的大规模合成基准。配合统一评测协议,GSI-Bench 实现可扩展、模型无关的空间合规性编辑保真度评估。实验表明,在 GSI-Syn 上对统一多模态模型进行微调可同时在合成与真实任务上带来显著提升,并意外增强下游空间理解能力。这首次明确证明生成式训练能实质强化空间推理,为提升多模态模型空间智能开辟新路径。

查看 arXiv 页面 (https://arxiv.org/abs/2604.20570)
查看 PDF (https://arxiv.org/pdf/2604.20570)
项目主页 (https://aim-uofa.github.io/GSI-Bench/)
GitHub5 (https://github.com/aim-uofa/GSI-Bench)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.20570)

在智能体中获取本文:

hf papers read 2604.20570

尚未安装最新 CLI?
curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型链接本文

在模型 README.md 中引用 arxiv.org/abs/2604.20570,即可在此页面显示链接。

引用本文的数据集 0

暂无数据集链接本文

在数据集 README.md 中引用 arxiv.org/abs/2604.20570,即可在此页面显示链接。

引用本文的 Spaces 0

暂无 Space 链接本文

在 Space README.md 中引用 arxiv.org/abs/2604.20570,即可在此页面显示链接。

包含本文的合辑 0

暂无合辑包含本文

将本文添加到合辑,即可在此页面显示链接。

相似文章

ESI-Bench:迈向闭环感知-行动的具身空间智能

Hugging Face Daily Papers

介绍了 ESI-BENCH,这是一个基于 OmniGibson 构建的全面具身空间智能基准,涵盖 10 个任务类别和 29 个子类别。实验表明,主动探索显著优于被动方法,失败主要源于行动盲视而非感知,揭示了模型与人类相比的元认知差距。

OVO-S-Bench:面向多模态大语言模型流式空间智能的层次化基准测试

Papers with Code Trending

OVO-S-Bench 构建了一个全面的人工标注基准测试,涵盖 348 个视频中的 1,680 道问题,用于评估多模态大语言模型的流式空间智能能力。结果显示,即便是表现最佳的模型(Gemini-3.1-Pro)也比人类专家低 27 分。该基准测试揭示了若干关键局限:以他者为中心的空间映射是主要瓶颈,而思维链推理则会放大空间错误。