论文页面 - SceneActBench：智能体能否基于所见3D场景采取行动？

来源：https://huggingface.co/papers/2607.22393 作者：

,

,

,

,

,

,

,

,

,

,

,

,

摘要

视觉语言模型（VLM）智能体越来越多地使用工具在3D场景中采取行动，而不仅仅是描述它们。现有的3D基准测试仅对文本回复或单物体操作进行评分，导致智能体在完整的多物体3D场景中的行动能力未被充分评估。我们提出SceneActBench，这是一个在统一智能体-环境循环下，针对五项3D任务进行视觉条件化行动的基准测试。给定PNG图像或采样视频帧，并在适用时提供3D资产，智能体在3D环境中采取行动。我们使用特定于任务的几何指标，将每个最终输出与隐藏的真实值进行比较。SceneActBench由210个源实例构建的五项任务组成，产生520个任务案例，包括成对的输入条件。每个任务通过一个固定的智能体循环运行，以确保比较公平。在十一种专有VLM配置中，总体得分范围为38.6-50.2，没有一种配置在所有任务中表现一致。我们进一步分析了失败发生的位置和方式。

查看arXiv页面 (https://arxiv.org/abs/2607.22393) 查看PDF (https://arxiv.org/pdf/2607.22393) 项目页面 (https://feinaldo2.github.io/sceneactbench-project-page/) GitHub2 (https://github.com/Feinaldo2/SceneActBench) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.22393)

在你的智能体中获取此论文：

hf papers read 2607.22393

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用 arxiv.org/abs/2607.22393 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用 arxiv.org/abs/2607.22393 以从此页面链接。

引用此论文的Spaces0

没有Space链接此论文

在Space README.md中引用 arxiv.org/abs/2607.22393 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。