Skill2Real:面向零样本 Sim-to-Real 机器人操作的智能体技能学习

Hugging Face Daily Papers 论文

摘要

Skill2Real 提出了一种基于 Proposer-Verifier-Governor 循环的智能体技能学习框架,通过共享 API 在仿真中学习可执行的机器人技能,并在无需微调的情况下将其零样本迁移到真实世界操作任务中,在 LIBERO 基准和真实机器人任务上均取得了较高的成功率。

将机器人技能从仿真迁移到现实,需要一种在感知、动力学和本体结构差异下依然可用的任务知识。我们提出 Skill2Real,一种通过共享应用程序接口(API)学习可执行技能的智能体策略框架。Proposer-Verifier-Governor(PVG)循环利用特权仿真证据来诊断结果并验证更新,同时使所学技能始终基于公开观测和 API 语义。Cerebellum 首先习得局部操作技能;随后 Brain 在 Cerebellum 冻结的条件下学习任务级的组合。两种记忆均可迁移到真实机器人上,无需进行任务策略微调或技能记忆更新。当 GPT-5.6 Sol 在 LIBERO-90 上学习技能、并使用 GPT-6 Astra 评估每个冻结检查点时,LIBERO-Pro Long 的成功率从 2.0% 提升至 56.3%,且未在 Pro Long 上进行任何训练。在 Robosuite 上独立训练时,使用 Sol 和 Opus 5 在七个任务上的平均成功率分别达到 85.1% 和 89.4%。使用 Astra 评估的、经 Sol 在 LIBERO-90 上训练的冻结技能,在四项真实世界操作任务上的平均完成率达到 78.75%。在 LIBERO-90 训练过程中移除 Verifier 或 Governor,分别会使最终 Pro Long 的成功率下降 17.3 和 13.3 个百分点。这些结果支持通过统一的机器人接口学习并迁移一个可执行技能的层级体系。
查看原文
查看缓存全文

缓存时间: 2026/10/05 04:46

论文页面 - Skill2Real:面向零样本 Sim-to-Real 机器人操作的智能体技能学习

来源:https://huggingface.co/papers/2610.02788

摘要

将机器人技能从仿真迁移到现实,需要任务知识在感知、动力学和具身形态(embodiment)存在差异时依然保持可用。我们提出 Skill2Real,一个通过共享应用程序接口(API)学习可执行技能的智能体策略框架。一个 Proposer-Verifier-Governor(PVG)循环利用特权仿真证据诊断执行结果并验证更新,同时将学到的技能保持在公开观测和 API 语义的基础上。Cerebellum(小脑)首先习得局部操作技能;随后 Brain(大脑)在 Cerebellum 冻结的情况下学习任务层面的技能组合。两套记忆都能在无需任务策略微调或技能记忆更新的情况下迁移到真实机器人。当 GPT-5.6 Sol 在 LIBERO-90 上学习技能,并使用 GPT-6 Astra 对每个冻结检查点进行评测时,LIBERO-ProLong 的成功率从 2.0% 提升至 56.3%,且全程未在 ProLong 上训练。在独立的 Robosuite 训练中,Sol 和 Opus 5 在七个任务上分别达到 85.1% 和 89.4% 的平均成功率。使用 Astra 在四个真实世界操作任务中评测时,由 Sol 训练并冻结的 LIBERO-90 技能达到了 78.75% 的平均完成率。在 LIBERO-90 训练过程中移除 Verifier 或 Governor,分别会使最终 ProLong 成功率下降 17.3 和 13.3 个百分点。这些结果支持了通过统一机器人接口学习并迁移一套可执行技能层级体系的思路。

查看 arXiv 页面 · 查看 PDF · 项目页面 · 添加到收藏

在你的智能体中获取这篇论文:

hf papers read 2610\.02788

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.02788,即可从此页面建立关联。

引用此论文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.02788,即可从此页面建立关联。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.02788,即可从此页面建立关联。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集即可从此页面建立关联。

相似文章

趣味性自主机器人学习

Hugging Face Daily Papers

介绍趣味性自主机器人学习(Playful Agentic Robot Learning),其中具身编码智能体通过自主探索游戏(self-directed play)学习可复用技能,无需额外训练即可提升下游任务表现。提出的RATs系统在仿真和现实世界迁移中相比基线取得了显著提升。

MotorMind:为通用视觉语言模型搭建框架以实现零样本机器人操作

Hugging Face Daily Papers

MotorMind 提出了一套框架(harness),让通用视觉语言模型(VLM)能够直接对观测进行推理、发出中层动作并接收异步反馈,从而控制机器人。在 LIBERO-PRO 零样本任务上达到 66.7% 的成功率(此前方法最高仅 13.3%),在真实 xArm6 机器人上达到 95%,全程无需任务特定训练、编码智能体(coding agent)或接地工具(grounding tools)。