论文页面 - 多模态具身智能体：从计算机操作到机器人操作的统一能力视角

来源：https://huggingface.co/papers/2610.30108 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

PAPAV 定义了多模态具身智能体的五项核心能力，并强调了从数字环境转向机器人环境时在评估和物理约束方面存在的差距。

多模态智能体（MMA）通过推理、记忆、工具和反馈来维持交互，最典型的例子是计算机操作智能体，而机器人系统（RS）则将感知与执行耦合在物理动力学之下。我们将多模态具身智能体（MMEA）定义为目标导向系统，它将多模态任务推理与物理行动相结合，并根据反馈结果修正决策。这引出了一个核心问题：当多模态智能体从计算机操作转向机器人操作时，会发生哪些变化？我们提出了 PAPAV——一个基于能力的统一框架，包含五项反复出现的功能：Perceive（感知）当前状态、Anticipate（预判）行动效果、Plan（规划）可行路线、Act（行动）通过接口或本体、以及 Verify（验证）结果。这些能力由功能而非架构定义，使 PAPAV 能够识别三者的共性，并将 MMEA 与 MMA 以及 RS 进行比较。五项物理约束——从部分可观测性到不可验证的结果——使得预先设定的选择更少，纠错空间更小。在 64 个基准测试中，显式评估主要集中在 Act 上；仅有 5 个评估 Anticipate，3 个评估 Verify，导致这两项能力在很大程度上被隐藏在任务成功率之后。这些约束也构成了我们所识别的开放挑战的框架。因此，PAPAV 为设计可靠的物理智能体以及衡量五项能力（而非仅仅任务成功率）的进展提供了共同基础。

查看 arXiv 页面 (https://arxiv.org/abs/2610.30108)　查看 PDF (https://arxiv.org/pdf/2610.30108)　项目页面 (https://showlab.github.io/Awesome-Multimodal-Embodied-Agent/)　GitHub137 (https://github.com/showlab/Awesome-Multimodal-Embodied-Agent)　加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.30108)

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.30108 即可从此页面链接它。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.30108 即可从此页面链接它。

引用此论文的 Space 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.30108 即可从此页面链接它。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接它。