AgenticRoboRL:将编码智能体的后训练方法引入具身机器人规划

Hugging Face Daily Papers 论文

摘要

AgenticRoboRL 是一个跨多种机器人执行框架(harness)对机器人规划器进行监督微调与多轮强化学习的后训练框架,在 LIBERO-PRO 上将 9B 规划器成功率从 18.1% 提升至 71.0%,接近使用外部记忆的 Codex (GPT-5.5) 的 72.1%。

具身机器人(Agentic robotics)系统将规划器与机器人执行框架(harness)结合,以完成复杂的操作任务。近期的研究通过改进执行框架和引入外部记忆来提升这类系统,但其依赖强大的闭源模型作为规划器,并未提升规划器自身的能力。相比之下,编码智能体(coding agents)通过直接对模型本身进行后训练,取得了显著的进步。因此,我们探索后训练是否同样能够提升机器人规划器的能力。然而,将后训练应用于不同的机器人执行框架需要适配多种执行机制,包括 VLA 技能调用和控制代码生成。为此,我们提出了 AgenticRoboRL,一个用于跨不同执行框架对机器人规划器进行后训练的框架。其训练方案结合了监督微调与多轮强化学习。为适配不同的执行机制,框架通过特定于执行框架的适配器(adapter)将记录的规划器交互与任务结果关联起来,从而在保持执行组件不变的前提下实现统一的强化学习训练流程。在 LIBERO-PRO 上,AgenticRoboRL 在不使用外部记忆的情况下,将一个 9B 参数规划器的成功率从 18.1% 提升至 71.0%,接近使用外部记忆的 Codex (GPT-5.5) 所达到的 72.1%。这些结果表明,后训练是提升机器人规划器的一种有效途径。我们将开源该框架及训练好的规划器检查点。
查看原文
查看缓存全文

缓存时间: 2026/10/22 15:43

论文页面 - AgenticRoboRL:将编码智能体的后训练方法引入智能体机器人

来源:https://huggingface.co/papers/2610.28589

摘要

AgenticRoboRL 通过监督微调和多轮强化学习在多种机器人执行框架上改进机器人规划器,在不依赖外部记忆的情况下显著提升了任务成功率。

智能体机器人(Agentic robotics)系统将规划器与机器人执行框架(robot harnesses)相结合,以完成复杂的操作任务。近期工作通过改进执行框架和引入外部记忆来提升这些系统,但依赖强大的闭源模型作为规划器,并未提升规划器自身的能力。相比之下,编码智能体通过对模型本身进行后训练取得了显著改进。因此,我们探究后训练是否也能改进机器人规划器。然而,将后训练应用于不同的机器人执行框架需要适配不同的执行机制,包括 VLA 技能调用(VLA skill invocation)和控制代码生成(control-code generation)。为此,我们提出 AgenticRoboRL——一个跨不同执行框架后训练机器人规划器的框架。该训练方案将监督微调(supervised fine-tuning)与多轮强化学习(multi-turn reinforcement learning)相结合。为适配不同的执行机制,框架特定适配器(harness-specific adapters)将记录的规划器交互与任务结果关联起来,从而实现统一的强化学习训练流程,同时保持执行组件固定不变。在 LIBERO-PRO 上,AgenticRoboRL 将 9B 参数规划器的成功率从 18.1% 提升至 71.0%(不使用外部记忆),接近 Codex(GPT-5.5)配合外部记忆所达到的 72.1%。这些结果表明,后训练是改进机器人规划器的一种有效方法。我们将开源该框架及训练好的规划器检查点。

查看 arXiv 页面 · 查看 PDF · 项目主页 · GitHub · 加入收藏

在你的智能体中获取这篇论文:

hf papers read 2610.28589

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 1

ciciciciliu/AgenticRoboRL-Qwen3.5-9B 更新于约 22 小时前 · 3

引用本文的数据集 0

暂无关联数据集

在数据集 README.md 中引用 arxiv.org/abs/2610.28589 即可将本文关联到此页面。

引用本文的 Space 0

暂无关联 Space

在 Space README.md 中引用 arxiv.org/abs/2610.28589 即可将本文关联到此页面。

收录本文的合集 0

暂无收录本文的合集

将本文加入合集即可将本文关联到此页面。

相似文章

RobotUse:分配计算、上下文与决策

Hugging Face Daily Papers

RobotUse 提出一种机器人智能体 harness,围绕指定与修订物理动作来组织计算、上下文与决策。智能体通过视觉方式选择目标与位姿,后端负责处理几何、运动规划与控制,并在执行过程中持续学习。最终在 RoboLab 上取得 45% 的任务成功率,超过 CaP-X 6.7 个百分点。

Skill2Real:面向零样本 Sim-to-Real 机器人操作的智能体技能学习

Hugging Face Daily Papers

Skill2Real 提出了一种基于 Proposer-Verifier-Governor 循环的智能体技能学习框架,通过共享 API 在仿真中学习可执行的机器人技能,并在无需微调的情况下将其零样本迁移到真实世界操作任务中,在 LIBERO 基准和真实机器人任务上均取得了较高的成功率。

CoDA:数据引擎与动作策略的协同演化

Hugging Face Daily Papers

CoDA 提出一种仿真数据引擎与机器人动作策略协同演进的框架,通过共享失败与学习进展记忆、视觉语言诊断以及 Text2potential 分阶段势能奖励,将机器人操作任务的分布外成功率从 5.3% 提升至 27.6%,并在 LIBERO-Pro 上取得显著改善。

训练整个智能体,而不仅仅是模型

Hugging Face Daily Papers

HarnessAdapt-RL 联合训练编码策略并自适应调整其评估框架(harness),通过机制级技能和不断演化的工具,在 9B 基座模型上将 SWE-bench 各变体上的 pass@1 相比 GRPO 最高提升 12.6 个百分点。

OpenRUA:编码代理即零样本视觉运动策略

Hugging Face Daily Papers

OpenRUA 论文提出用现成编码代理(Claude Code、Codex)直接通过原生 ROS 2 控制机器人,作为零样本视觉运动策略,在 CaP-Bench、LIBERO-PRO 和 RoboCasa365 等基准上取得显著的 SOTA 级成绩,并展现出自主编写代码提取 3D 坐标、构建控制库等涌现行为。