论文页面 - HumanCLAW：视觉语言模型能否通过身体执行动作？

来源：https://huggingface.co/papers/2607.27180 发布于 7 月 29 日

#2 当日论文 (https://huggingface.co/papers/date/2026-07-30) 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

评估视觉语言模型（VLM）能否通过物理身体执行动作是一项具有挑战性的任务。动作的结果将 VLM 的决策与运动控制耦合在一起。当任务失败时，很难判断是 VLM 做出了错误选择，还是运动控制器未能执行该指令（例如，失去平衡而摔倒）。在这项工作中，我们引入了 HumanCLAW，一个将动作决策与底层执行解耦的评估框架。在每个步骤中，一个固定的现成 VLM 发出一个解剖学技能指令，该指令被翻译成一个亚秒级的连续全身运动片段，并产生真实的物理后果，包括重力和碰撞。身体因此可以在物理世界中自由行动，而执行层面的干扰、平衡和运动误差则被排除在外。剩下可测量的便是模型的行动智能：它在每个时刻选择身体下一步应该执行什么动作。基于这一框架，我们构建了 HumanCLAW-Bench：涵盖 41 个室内场景的 1,218 个长时程、第一人称视角的“寻找-导航-交互”场景。我们测试了九个最先进的 VLM，发现没有一个能解决该基准测试；最佳模型的成功率仅为 16.8%。识别目标并非瓶颈。当前 VLM 所缺乏的是具身自我意识：它们会丢失自身身体的位置，无法跟踪身体在哪里、是否到达目标、是否碰到了障碍物。

查看 arXiv 页面 (https://arxiv.org/abs/2607.27180) 查看 PDF (https://arxiv.org/pdf/2607.27180) 项目页面 (https://human-claw.github.io/) GitHub0 (https://github.com/Human-CLAW/HumanCLAW) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.27180)

在您的智能体中获取此论文：

hf papers read 2607\.27180

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2607.27180 即可从此页面链接。

引用此论文的数据集0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.27180 即可从此页面链接。

引用此论文的空间0

没有空间关联此论文

在空间 README.md 中引用 arxiv.org/abs/2607.27180 即可从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。