RoboQuest:能够搜索、检查和测试的通用物理智能体

Hugging Face Daily Papers 论文

摘要

RoboQuest 提出了一个面向移动操作中目标导向具身探索的基准测试,对前沿多模态智能体在搜索、检查和交互测试任务上的表现进行评估。结果显示,表现最好的智能体仅在 23% 的回合中成功,失败主要归因于过早停止探索,而非执行能力不足。

多模态基础模型的最新进展使其能够成为胜任多种操作任务的通用物理智能体。然而,在陌生环境中成功运行可能要求智能体在观测中缺少任务相关信息时,通过交互主动获取相关信息:它可能需要确定相关物体的位置、检查未被观测到的属性,或发现陌生工具的使用效果。为此,我们提出了 RoboQuest——一个面向目标导向具身探索的基准测试,其中智能体必须通过物理交互主动获取任务相关信息,利用获得的证据来调整后续动作,并自主决定何时着手完成任务。RoboQuest 包含十个移动操作任务,围绕三类不确定性展开:搜索、基于操作的检查和交互测试。我们通过统一的视觉-运动接口评估了五个前沿多模态智能体,并评估了一个在我们发布的完整回合演示数据上微调的 π_{0.5} 策略。表现最好的智能体仅在 23\% 的回合中成功,而微调后的策略几乎从未成功。在提供隐藏信息的条件下,对任务所依赖的执行技能进行隔离测试表明,智能体能够完成大部分所需动作,我们的失败分析也仅将少数失败归因于执行问题。我们的失败分析进一步发现,智能体往往过早停止探索,因为它们在观察到完成任务所需的证据之前就做出了决定。我们还发现,智能体很少能防止或修复其探索行为所造成的干扰。此外,通过试错进行学习对大多数模型来说仍然十分困难。
查看原文
查看缓存全文

缓存时间: 2026/10/08 12:21

论文页面 - RoboQuest:能搜索、检查和测试的通用物理智能体

来源:https://huggingface.co/papers/2610.10388

摘要

近年来多模态基础模型的进展使它们成为能够胜任各类操作任务的通用物理智能体。然而,在陌生环境中成功执行任务,可能要求智能体在观测信息缺失时,通过交互主动寻求与任务相关的信息:它可能需要确定相关物体的位置、检查一个未被观测到的属性,或者探究一个陌生工具的效果。为此我们提出 RoboQuest,一个面向目标驱动的具身探索基准,其中智能体必须通过物理交互主动获取与任务相关的信息,利用所得证据来调整后续行动,并自主决定何时可以宣告任务完成。RoboQuest 包含十个移动操作任务,围绕三种不确定性形式展开:搜索、基于操作的检查以及交互式测试。我们通过统一的视觉-运动接口评估了五个前沿多模态智能体,并评估了一个在我们发布的完整轨迹演示上微调的 π₀.₅ 策略。表现最好的智能体在仅 23% 的回合中取得成功,而微调后的策略几乎从未成功。我们在隐藏信息已提供的条件下,对这些任务所依赖的执行技能进行隔离测试,结果表明这些智能体能够完成大部分所需动作,我们的失败分析也显示,只有少数失败归因于执行环节。我们的失败分析还发现,智能体往往过早停止探索——它们在观察到任务完成所需证据之前就做出了决策。我们还发现,智能体很少阻止或修复其探索行为所造成的干扰。此外,对大多数模型而言,通过试错进行学习仍然十分困难。

查看 arXiv 页面 (https://arxiv.org/abs/2610.10388)|查看 PDF (https://arxiv.org/pdf/2610.10388)|项目页面 (https://declare-lab.github.io/RoboQuest/)|GitHub1 (https://github.com/declare-lab/RoboQuest)|添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.10388)

在你的智能体中获取这篇论文:

hf papers read 2610.10388

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.10388 即可从本页面链接它。

引用此论文的数据集 1

declare-lab/RoboQuest • Viewer • 约 9 小时前更新 • 26.4M • 181 • 2 (https://huggingface.co/datasets/declare-lab/RoboQuest)

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.10388 即可从本页面链接它。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页面链接它。

相似文章

RoboLab:用于任务通用策略分析的高保真仿真基准

Hugging Face Daily Papers

# 论文页面 - RoboLab:用于任务通用策略分析的高保真仿真基准 来源:[https://huggingface.co/papers/2604.09860](https://huggingface.co/papers/2604.09860) ## 摘要 RoboLab 是一个仿真基准框架,通过可扩展的真实任务生成和对策略在受控扰动下行为的系统分析,解决机器人策略评估中的局限。

机器人操作中的Agent策略

Hugging Face Daily Papers

一个通用代理通过解读视觉证据、编写可执行程序,并基于物理反馈在多样化的操作任务中调整动作,直接控制物理机器人,无需针对特定任务的训练,便能实现高成功率。