机器人操作中的Agent策略

Hugging Face Daily Papers 论文

摘要

一个通用代理通过解读视觉证据、编写可执行程序,并基于物理反馈在多样化的操作任务中调整动作,直接控制物理机器人,无需针对特定任务的训练,便能实现高成功率。

我们证明,一个通用代理可以在没有任何任务特定或环境特定训练的情况下,直接驱动物理机器人完成整个任务执行过程。我们引入了Agent作为策略(AGP),将任务规划和执行置于代理的控制之下。给定一个任务和机器人接口,代理能够解读视觉证据,编写可执行程序,发出运动指令,并根据物理结果修正其动作。这使得代理的推理和编程能力与物理世界进行持续交互。我们在多个真实世界的操作任务上对AGP进行了研究,这些任务涵盖了精确操作、动态运动和可变形物体。具体任务包括从人类视频进行组装、从目标图像构建方块、骰子重新定位、定向投掷和双臂毛巾折叠。AGP在三种方块构建配置上实现了100%、100%和80%的成功率。这些发现为通用代理作为机器人策略铺平了道路,通过运行时推理、编程和交互,将其自主性扩展到物理操作领域。
查看原文
查看缓存全文

缓存时间: 2026/09/15 06:39

论文页面 - 智能体即机器人操作策略

来源:https://huggingface.co/papers/2609.12541

摘要

通过解读视觉信息、编写可执行程序并基于物理反馈在多样化操作任务中修正行动,一个通用智能体能够直接控制实体机器人。

我们证明,无需任何针对特定任务或环境的训练,通用智能体便可在整个任务执行过程中直接驱动实体机器人。我们提出智能体即策略(Agent as Policy (https://huggingface.co/papers?q=Agent%20as%20Policy))(AGP),将任务规划与执行置于智能体的控制之下。给定任务和机器人接口,智能体解读视觉证据,编写可执行程序(https://huggingface.co/papers?q=executable%20programs),发出运动指令(https://huggingface.co/papers?q=motion%20commands),并根据物理结果(https://huggingface.co/papers?q=physical%20outcomes)修正其动作。这使智能体的推理和编程能力与物理世界实现持续交互。我们在多个真实世界操作(https://huggingface.co/papers?q=real-world%20manipulation)任务中研究了AGP,这些任务涵盖精密操作(https://huggingface.co/papers?q=precision%20manipulation)、动态运动和可变形物体(https://huggingface.co/papers?q=deformable%20objects)。具体任务包括根据人类视频进行装配、根据目标图像构建积木、骰子重定向、定向投掷以及双臂毛巾折叠(https://huggingface.co/papers?q=bimanual%20towel%20folding)。AGP在三种积木构建配置中分别达到了100%、100%和80%的成功率。这些发现为通用智能体作为机器人策略(https://huggingface.co/papers?q=robotic%20policies)开辟了道路,通过运行时推理(https://huggingface.co/papers?q=runtime%20reasoning)、编程与交互,将其自主能力扩展到物理操作领域。

查看arXiv页面 (https://arxiv.org/abs/2609.12541)查看PDF (https://arxiv.org/pdf/2609.12541)项目页面 (https://agent-as-policy-2026.github.io/)添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.12541)

在您的智能体中获取此论文:

hf papers read 2609.12541

尚未安装最新CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型README.md中引用 arxiv.org/abs/2609.12541 以从本页面链接。

引用此论文的数据集1

Agent-as-Policy/agent-as-Policy Viewer• 约1小时前更新 • 162 • 4 • 2 (https://huggingface.co/datasets/Agent-as-Policy/agent-as-policy)

引用此论文的空间0

无空间链接此论文

在空间README.md中引用 arxiv.org/abs/2609.12541 以从本页面链接。

包含此论文的收藏1

相似文章

机器人操作中的Agent as Policy

arXiv cs.CL

本文介绍了Agent as Policy (AGP),这是一个框架,使通用智能体无需针对特定任务训练,即可直接控制物理机器人执行操作任务,在各种现实场景中实现高成功率。

机器人使用代理

Lobsters Hottest

本文探讨了将LLM用作机器人控制代理的新兴趋势,类似于计算机使用代理,并研究了通过云人工智能在机器人生态系统中快速扩散智能的潜力。

AgentOS

Product Hunt

AgentOS 提供了一个统一控制层,用于管理 AI 代理、任务和工作空间。

RoboArchitect:利用持久记忆自动化设计机器人智能体

Hugging Face Daily Papers

RoboArchitect 利用编码模型迭代修改围绕冻结策略的控制代码,实现机器人智能体运行框架设计的自动化,无需更新任何模型权重,即可将未见场景中的成功率从 9.7% 提升至 43.3%,将未见任务中的成功率从 12.7% 提升至 40.2%,同时还能在多个回合间持续演化持久记忆。