EmbodiedLab:为“以行动求知”的具身智能体提供基准评测
摘要
EmbodiedLab 是一个面向“以行动求知”具身智能体的新基准,要求机器人在物理仿真实验室中自主设计实验、操作仪器以发现科学原理。在 5 个学科、30 项实验、14 种装置平台上评测六个前沿模型,结果显示即使最强的智能体成功率也不足一半,失败主要源于与装置的物理交互。
查看缓存全文
缓存时间: 2026/10/28 01:58
论文页面 - EmbodiedLab:为“通过行动求知“的具身智能体打造的基准测试
来源:https://huggingface.co/papers/2610.35385 作者:
,
,
,
,
,
,
,
,
,
,
,
,
摘要
EmbodiedLab 用于评测一类具身智能体:它们必须与仿真实验室装置进行物理交互,通过自主实验来发现科学原理。
具身智能体(https://huggingface.co/papers?q=Embodied%20agents)被期望通过自主决定“如何“以及“何时“与周围环境交互,来完成真实世界的目标。对于许多这类目标而言,改变世界的物理状态只是手段而非目的:智能体通过交互改变系统的状态、观察反馈,并不断探索,直到它要么自行实现目标(例如发现物理定律),要么弄清楚目标究竟要求什么——它通过行动来求知。操作类基准测试止步于“通过行动改变状态“,目标状态是预先给定的;而科学发现(https://huggingface.co/papers?q=scientific%20discovery)类基准测试虽评估“知“,却用符号化动作或数值查询替代了物理实验。我们提出 EmbodiedLab,一个要求智能体“通过行动求知“的基准。定量科学实验使这一设定可控:系统参数在每个实例中重新采样,因此结果无法预先得知,但可以被精确评分。在五个学科、14 个实验平台上的 30 项实验中,智能体收到一个目标和一台实验装置,自行选择实验流程,并操作一个基于物理仿真的实验室,通过自身的摄像头读取仪器读数。评测既检查智能体最终知道了什么——以交互过程中记录的读数为依据——也检查任务所要求的物理状态;每项实验均已验证为可解。我们评测了六款前沿模型,分别使用其开发者提供的编码智能体,并搭配原生的观测与控制能力、额外的感知与运动规划(https://huggingface.co/papers?q=perception%20and%20motion%20planning)能力,以及从最强智能体中蒸馏得到的操作技能(https://huggingface.co/papers?q=manipulation%20skills)。在原生控制下,即便是表现最好的智能体成功率也不到一半;对所有智能体而言,大多数失败都发生在与装置的交互环节;相比感知与规划,操作技能(https://huggingface.co/papers?q=manipulation%20skills)对较弱的智能体帮助更大。该基准及其评测代码见 https://github.com/HexaFuture/EmbodiedLab。
查看 arXiv 页面(https://arxiv.org/abs/2610.35385)查看 PDF(https://arxiv.org/pdf/2610.35385)项目页面(https://hexafuture.ai/benchmarks/embodiedlab)GitHub12(https://github.com/HexaFuture/EmbodiedLab)添加到收藏夹(https://huggingface.co/login?next=%2Fpapers%2F2610.35385)
在你的智能体中获取本文:
hf papers read 2610\.35385
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型0
暂无关联本文的模型
在模型 README.md 中引用 arxiv.org/abs/2610.35385,即可将模型关联到本页面。
引用本文的数据集0
暂无关联本文的数据集
在数据集 README.md 中引用 arxiv.org/abs/2610.35385,即可将数据集关联到本页面。
引用本文的 Spaces0
暂无关联本文的 Space
在 Space README.md 中引用 arxiv.org/abs/2610.35385,即可将 Space 关联到本页面。
包含本文的收藏夹0
暂无包含本文的收藏夹
将本文添加到收藏夹(https://huggingface.co/new-collection),即可将其关联到本页面。
相似文章
RobotWorld:面向多种任务与具身形态的多模态智能体机器人使用基准
RobotWorld 提出了一个涵盖 84 项任务的机器人智能体仿真基准,横跨操作、移动操作、运动、驾驶与空中控制,用于评估多模态智能体将数字任务能力迁移到物理世界的表现,并揭示了模型间的能力差异与关键短板。
EmbodiedCLBench:评估自我进化具身智能体的持续学习能力
本文提出EmbodiedCLBench,首个用于评估自进化智能体持续学习能力的具身仿真基准,采用组合泛化为核心评估原则。实验结果显示当前智能体虽能从基础任务经验中获益,但改进程度无法随学习样本数量有效扩展。
从语言到物理:交互式物理环境中大语言模型的基准评估
该论文提出了一个用于评估大语言模型在闭环物理交互中表现的基准,模型需通过连接机械臂、摄像头和传感器的系统在真实环境中执行任务并根据物理反馈调整行动。实验揭示了LLM在物理行动中的常见失败模式,如幻觉状态变化、糟糕的异常恢复和不稳定的长程规划。
多模态具身智能体:从计算机使用到机器人使用的统一能力中心视角
PAPAV 提出了一个以能力为核心的统一框架(感知、预判、规划、行动、验证),用于对比多模态具身智能体、计算机使用智能体与机器人系统,并基于 64 个基准揭示了预判与验证能力评估的显著缺口。
EmbodiedCLBench:评估自我进化具身智能体的持续学习能力
EmbodiedCLBench 引入了首个用于评估具身模拟中持续学习能力的基准测试,检验智能体能否重组基本技能来解决未见过的高级任务。实验表明,虽然先验经验能稳定提升性能,但当前智能体无法通过增加训练样本实现性能的相应扩展。