RoboQuest:能够搜索、检查和测试的通用物理智能体
摘要
RoboQuest 提出了一个面向移动操作中目标导向具身探索的基准测试,对前沿多模态智能体在搜索、检查和交互测试任务上的表现进行评估。结果显示,表现最好的智能体仅在 23% 的回合中成功,失败主要归因于过早停止探索,而非执行能力不足。
查看缓存全文
缓存时间: 2026/10/08 12:21
论文页面 - RoboQuest:能搜索、检查和测试的通用物理智能体
来源:https://huggingface.co/papers/2610.10388
摘要
近年来多模态基础模型的进展使它们成为能够胜任各类操作任务的通用物理智能体。然而,在陌生环境中成功执行任务,可能要求智能体在观测信息缺失时,通过交互主动寻求与任务相关的信息:它可能需要确定相关物体的位置、检查一个未被观测到的属性,或者探究一个陌生工具的效果。为此我们提出 RoboQuest,一个面向目标驱动的具身探索基准,其中智能体必须通过物理交互主动获取与任务相关的信息,利用所得证据来调整后续行动,并自主决定何时可以宣告任务完成。RoboQuest 包含十个移动操作任务,围绕三种不确定性形式展开:搜索、基于操作的检查以及交互式测试。我们通过统一的视觉-运动接口评估了五个前沿多模态智能体,并评估了一个在我们发布的完整轨迹演示上微调的 π₀.₅ 策略。表现最好的智能体在仅 23% 的回合中取得成功,而微调后的策略几乎从未成功。我们在隐藏信息已提供的条件下,对这些任务所依赖的执行技能进行隔离测试,结果表明这些智能体能够完成大部分所需动作,我们的失败分析也显示,只有少数失败归因于执行环节。我们的失败分析还发现,智能体往往过早停止探索——它们在观察到任务完成所需证据之前就做出了决策。我们还发现,智能体很少阻止或修复其探索行为所造成的干扰。此外,对大多数模型而言,通过试错进行学习仍然十分困难。
查看 arXiv 页面 (https://arxiv.org/abs/2610.10388)|查看 PDF (https://arxiv.org/pdf/2610.10388)|项目页面 (https://declare-lab.github.io/RoboQuest/)|GitHub1 (https://github.com/declare-lab/RoboQuest)|添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.10388)
在你的智能体中获取这篇论文:
hf papers read 2610.10388
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
没有模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2610.10388 即可从本页面链接它。
引用此论文的数据集 1
declare-lab/RoboQuest • Viewer • 约 9 小时前更新 • 26.4M • 181 • 2 (https://huggingface.co/datasets/declare-lab/RoboQuest)
引用此论文的 Spaces 0
没有 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2610.10388 即可从本页面链接它。
包含此论文的收藏集 0
没有收藏集包含此论文
将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页面链接它。
相似文章
RoboLab:用于任务通用策略分析的高保真仿真基准
# 论文页面 - RoboLab:用于任务通用策略分析的高保真仿真基准 来源:[https://huggingface.co/papers/2604.09860](https://huggingface.co/papers/2604.09860) ## 摘要 RoboLab 是一个仿真基准框架,通过可扩展的真实任务生成和对策略在受控扰动下行为的系统分析,解决机器人策略评估中的局限。
RoboDojo:用于通用机器人操作策略综合评估的统一仿真与真实世界基准
RoboDojo是一个用于全面评估通用机器人操作策略的统一仿真与真实世界基准,包含42个仿真任务和18个真实世界任务,涵盖多个评估维度。
QUEST:通过全合成任务训练前沿深度研究智能体
QUEST是一个开放的深度研究智能体家族,使用合成数据和强化学习训练,在多种长周期搜索任务中取得了强劲的性能,接近前沿闭源智能体。
机器人操作中的Agent策略
一个通用代理通过解读视觉证据、编写可执行程序,并基于物理反馈在多样化的操作任务中调整动作,直接控制物理机器人,无需针对特定任务的训练,便能实现高成功率。
@MarioChan2002: 我们评估了30多个前沿具身AI模型。结果很明确:当前的通用机器人策略仍然远未达到…
对30多个具身AI模型的评估发现,当前的通用机器人策略缺乏实际操纵的鲁棒性,因此我们构建了RoboDojo。