论文页面 - VLA真的知道基础吗？衡量视觉-语言-动作模型中的常识与世界知识保持能力

来源：https://huggingface.co/papers/2606.19297 发布时间：6月17日

·

由https://huggingface.co/tttonyalpha提交

Nikita (https://huggingface.co/tttonyalpha)于7月1日

作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

Act2Answer协议通过让智能体通过物理动作回答问题来评估具身视觉-语言-动作模型，揭示了不同语义类别下的知识保持与泛化模式。

具身视觉-语言-动作（VLA）模型通常通过将强大的预训练VLM（https://huggingface.co/papers?q=pretrained%20VLMs）在机器人数据集（https://huggingface.co/papers?q=robotics%20data）上进行微调获得，但目前尚不清楚它们在适应后保留了多少常识和事实知识。在知识敏感型任务（https://huggingface.co/papers?q=knowledge-sensitive%20tasks）上的失败具有模糊性，难以区分是知识缺失还是底层控制泛化能力不足。我们引入了Act2Answer，一种轻量级协议，通过要求智能体以动作方式回答，将VLM知识基准适配到VLA评估中。每个问题都变成一个简短的桌面场景，智能体通过执行一个物体放置动作来在候选答案之间做出选择，从而得到一个动作接地成功率（https://huggingface.co/papers?q=action-grounded%20success%20rate），减少了控制混杂因素。我们整理了一套涵盖多种常识和世界知识类别（https://huggingface.co/papers?q=world-knowledge%20categories）的测试环境，并引入了逐层意图探测（https://huggingface.co/papers?q=layerwise%20intent%20probing）来定位VLM主干网络和动作头中与答案相关的信息。在一项涵盖7个VLA模型和9个VLM基线的大规模研究中，我们系统地按类别对模型进行了排名，发现VLA在简单概念上表现稳健，但在较丰富的语义类别（https://huggingface.co/papers?q=semantic%20categories）上相较于其源VLM表现出更大差距，且VQA联合训练（https://huggingface.co/papers?q=VQA%20co-training）与更好的知识保持能力相关，而答案相关信号在VLA中间层达到峰值，但在上层衰减。Act2Answer可在 https://tttonyalpha.github.io/act2answer/ 获取。

查看arXiv页面 (https://arxiv.org/abs/2606.19297)查看PDF (https://arxiv.org/pdf/2606.19297)项目页面 (https://tttonyalpha.github.io/act2answer/)GitHub2 (https://github.com/CognitiveAISystems/Act2Answer)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.19297)

在你的智能体中获取这篇论文：

hf papers read 2606.19297

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2606.19297以将其链接至此页面。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2606.19297以将其链接至此页面。

引用此论文的Space0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2606.19297以将其链接至此页面。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集 (https://huggingface.co/new-collection)中以将其链接至此页面。