基于摄像头所见采取行动的智能体：空间输出是薄弱环节
摘要
VideoDB 的一位开发者强调了智能体使用视觉模型时精确空间输出的问题，指出微小的定位错误可能导致错误动作，并宣布开源了一个评估工具，用于在自定义视频上检查空间准确性。
我在 VideoDB 负责视频方面的工作，一直困扰我们的是视觉模型的精确空间输出问题。如果智能体需要根据精确位置采取行动，微小的定位错误就会导致错误动作。我发现最简单的验证方法是：给一个 VLM 展示棋局并让它输出 FEN。它通常能识别棋子，但会把棋子放在错误的格子上。在演示中这无伤大雅，但当智能体据此触发行动时就不那么无害了。我们将其纳入了更广泛的 VLM 评估研究中，并开源了评估工具，以便你可以在自己的视频或图像数据上进行检查。对于正在基于视频或图像构建智能体的开发者，你们是如何处理模型虽然自信但有些许错误的情况的？
相似文章
SpatialScout：视觉语言模型智能体能否主动探索并构建三维场景地图？
SpatialScout 提出了一项基准，用于评估视觉语言模型智能体在 80 个室内场景中进行主动式物体级三维建图的能力。结果表明，即使是表现最强的模型 Claude Opus 5.5，平均重叠率也仅达到 41.71%，凸显出其在构建精确度量地图方面仍存在重大差距。
Video-Arena：一个面向时空能力的可扩展智能体视频基准
Video-Arena 引入了一个可扩展的基准，将竞技类游戏转化为对视频中时空世界状态理解与跟踪能力的可验证测试，在原生与工具辅助的智能体协议下对模型进行评估，结果发现两种协议下的模型都难以随时间推移正确更新状态。
SpatialAct: 探索VLM智能体在3D场景中的空间推理到行动的能力
SpatialAct是一个新的基于模拟器的基准，用于探索VLM智能体是否能在多轮反馈设置下进行连贯的空间推理并将其转化为3D环境中的行动。实验揭示了一个显著的推理到行动差距：当前的VLM尽管在孤立推理任务上表现良好，但难以维持空间信念并产生可靠的行为。
当记忆说谎：VLM智能体空间记忆过时性的实证研究
本文实证研究了视觉语言模型智能体中的空间记忆过时性问题，发现模型常常忽略矛盾的视觉证据，并且信任过时记忆会增加安全风险。作者提出了审计机制，但表明在记忆-观察冲突下的视觉接地仍是一个重大开放挑战。
VABench: 通过视觉演示、主动感知和度量控制来测量具身空间智能
VABench 引入了一个基准，通过测试模型在视觉演示和主动感知下观察、推理和行动的能力，来评估模型中的具身空间智能。它表明主动摄像头控制提高了任务成功率，但没有模型能完成长期任务。