EmbodiedLab:为“以行动求知”的具身智能体提供基准评测

Hugging Face Daily Papers 论文

摘要

EmbodiedLab 是一个面向“以行动求知”具身智能体的新基准,要求机器人在物理仿真实验室中自主设计实验、操作仪器以发现科学原理。在 5 个学科、30 项实验、14 种装置平台上评测六个前沿模型,结果显示即使最强的智能体成功率也不足一半,失败主要源于与装置的物理交互。

具身智能体被期望能够自主决定何时以及如何与周围环境交互,从而完成现实世界的目标。对许多此类目标而言,改变物理世界的状态只是手段而非目的:智能体通过交互改变系统状态,观察反馈,并不断探索,直至实现目标本身(例如发现物理定律),或弄清目标的具体要求——它以行动求知(acts to know)。现有的操作类基准停留在“以行动改变”,目标状态是预先给定的;而科学发现类基准虽然评测“求知”,却用符号化动作或数值查询取代了真实的物理实验。我们提出 EmbodiedLab,一个必须“以行动求知”的机器人基准。定量科学实验使这一设定具备可控性:系统参数在每个实验实例中都会重新采样,因此结果无法预先知晓,却可以精确评分。在横跨五个学科的 30 项实验、14 种装置平台上,智能体接收一个目标和一台装置,自行选择实验步骤,并操作一个基于物理仿真的实验室,通过摄像头读取仪器数值。评测既检查智能体最终获得了哪些知识(以实验过程中记录的仪器读数为依据),也检查任务所要求的物理状态是否达成;每项实验均经过验证确保可解。我们对六个前沿模型进行了评测,分别测试了其开发者提供的编码智能体在原生观察与控制、增加感知与运动规划、以及蒸馏自最强智能体的操作技能加持下的表现。在原生控制下,即使最强的智能体成功率也不到一半;对所有智能体而言,大多数失败发生在与装置的物理交互环节,且操作技能对较弱智能体的帮助大于感知与规划。该基准及其评测代码已开源:https://github.com/HexaFuture/EmbodiedLab。
查看原文
查看缓存全文

缓存时间: 2026/10/28 01:58

论文页面 - EmbodiedLab:为“通过行动求知“的具身智能体打造的基准测试

来源:https://huggingface.co/papers/2610.35385 作者:

,

,

,

,

,

,

,

,

,

,

,

,

摘要

EmbodiedLab 用于评测一类具身智能体:它们必须与仿真实验室装置进行物理交互,通过自主实验来发现科学原理。

具身智能体(https://huggingface.co/papers?q=Embodied%20agents)被期望通过自主决定“如何“以及“何时“与周围环境交互,来完成真实世界的目标。对于许多这类目标而言,改变世界的物理状态只是手段而非目的:智能体通过交互改变系统的状态、观察反馈,并不断探索,直到它要么自行实现目标(例如发现物理定律),要么弄清楚目标究竟要求什么——它通过行动来求知。操作类基准测试止步于“通过行动改变状态“,目标状态是预先给定的;而科学发现(https://huggingface.co/papers?q=scientific%20discovery)类基准测试虽评估“知“,却用符号化动作或数值查询替代了物理实验。我们提出 EmbodiedLab,一个要求智能体“通过行动求知“的基准。定量科学实验使这一设定可控:系统参数在每个实例中重新采样,因此结果无法预先得知,但可以被精确评分。在五个学科、14 个实验平台上的 30 项实验中,智能体收到一个目标和一台实验装置,自行选择实验流程,并操作一个基于物理仿真的实验室,通过自身的摄像头读取仪器读数。评测既检查智能体最终知道了什么——以交互过程中记录的读数为依据——也检查任务所要求的物理状态;每项实验均已验证为可解。我们评测了六款前沿模型,分别使用其开发者提供的编码智能体,并搭配原生的观测与控制能力、额外的感知与运动规划(https://huggingface.co/papers?q=perception%20and%20motion%20planning)能力,以及从最强智能体中蒸馏得到的操作技能(https://huggingface.co/papers?q=manipulation%20skills)。在原生控制下,即便是表现最好的智能体成功率也不到一半;对所有智能体而言,大多数失败都发生在与装置的交互环节;相比感知与规划,操作技能(https://huggingface.co/papers?q=manipulation%20skills)对较弱的智能体帮助更大。该基准及其评测代码见 https://github.com/HexaFuture/EmbodiedLab。

查看 arXiv 页面(https://arxiv.org/abs/2610.35385)查看 PDF(https://arxiv.org/pdf/2610.35385)项目页面(https://hexafuture.ai/benchmarks/embodiedlab)GitHub12(https://github.com/HexaFuture/EmbodiedLab)添加到收藏夹(https://huggingface.co/login?next=%2Fpapers%2F2610.35385)

在你的智能体中获取本文:

hf papers read 2610\.35385

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

暂无关联本文的模型

在模型 README.md 中引用 arxiv.org/abs/2610.35385,即可将模型关联到本页面。

引用本文的数据集0

暂无关联本文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2610.35385,即可将数据集关联到本页面。

引用本文的 Spaces0

暂无关联本文的 Space

在 Space README.md 中引用 arxiv.org/abs/2610.35385,即可将 Space 关联到本页面。

包含本文的收藏夹0

暂无包含本文的收藏夹

将本文添加到收藏夹(https://huggingface.co/new-collection),即可将其关联到本页面。

相似文章

EmbodiedCLBench:评估自我进化具身智能体的持续学习能力

arXiv cs.AI

本文提出EmbodiedCLBench,首个用于评估自进化智能体持续学习能力的具身仿真基准,采用组合泛化为核心评估原则。实验结果显示当前智能体虽能从基础任务经验中获益,但改进程度无法随学习样本数量有效扩展。

从语言到物理:交互式物理环境中大语言模型的基准评估

Hugging Face Daily Papers

该论文提出了一个用于评估大语言模型在闭环物理交互中表现的基准,模型需通过连接机械臂、摄像头和传感器的系统在真实环境中执行任务并根据物理反馈调整行动。实验揭示了LLM在物理行动中的常见失败模式,如幻觉状态变化、糟糕的异常恢复和不稳定的长程规划。

EmbodiedCLBench:评估自我进化具身智能体的持续学习能力

Hugging Face Daily Papers

EmbodiedCLBench 引入了首个用于评估具身模拟中持续学习能力的基准测试,检验智能体能否重组基本技能来解决未见过的高级任务。实验表明,虽然先验经验能稳定提升性能,但当前智能体无法通过增加训练样本实现性能的相应扩展。