论文页面 - GST-Bench：VLMs能否从视频中发展出全局空间意识？

Source: https://huggingface.co/papers/2608.05747

摘要

空间智能对具身智能体至关重要，然而现有基准大多聚焦于从单一或少数视角进行的局部空间感知，忽视了在连续、长时程视觉流中的全局空间意识。为解决这一局限，我们提出了全局-空间-时间基准（GST-Bench），这是一个面向视频理解中全局空间智能的VQA基准，包含由6,790分钟合成生成视频得出的人工验证问题。它要求模型从输入视频中未见过的全新视角进行准确的空间推理，并将自我中心的观察映射到全局自顶向下图像上。对22个最先进VLM的综合评估暴露了模型与人类之间的显著差距：最强的零样本模型仅达到42.68，远低于人类的79.08。为了探究这一差距的原因，我们构建了GST-Bench-Local，并发现尽管模型在相同任务设置下具有强大的局部空间理解能力，它们仍然无法将长时程观察整合为全局一致的场景表示。我们还提供了GST-Train，一个用于全局空间推理的数据集，作为补充资源以促进未来对这一挑战的研究。

查看arXiv页面 (https://arxiv.org/abs/2608.05747) 查看PDF (https://arxiv.org/pdf/2608.05747) 项目页面 (https://qwerirwq.github.io/GST-Bench/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.05747)

在你的智能体中获取此论文：

hf papers read 2608\.05747

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接到此论文

在模型README.md中引用arxiv.org/abs/2608.05747，即可从本页链接到该模型。

引用此论文的数据集 0

没有数据集链接到此论文

在数据集README.md中引用arxiv.org/abs/2608.05747，即可从本页链接到该数据集。

引用此论文的Spaces 0

没有Space链接到此论文

在Space的README.md中引用arxiv.org/abs/2608.05747，即可从本页链接到该Space。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从本页链接它。