Skill2Real:面向零样本 Sim-to-Real 机器人操作的智能体技能学习
摘要
Skill2Real 提出了一种基于 Proposer-Verifier-Governor 循环的智能体技能学习框架,通过共享 API 在仿真中学习可执行的机器人技能,并在无需微调的情况下将其零样本迁移到真实世界操作任务中,在 LIBERO 基准和真实机器人任务上均取得了较高的成功率。
查看缓存全文
缓存时间: 2026/10/05 04:46
论文页面 - Skill2Real:面向零样本 Sim-to-Real 机器人操作的智能体技能学习
来源:https://huggingface.co/papers/2610.02788
摘要
将机器人技能从仿真迁移到现实,需要任务知识在感知、动力学和具身形态(embodiment)存在差异时依然保持可用。我们提出 Skill2Real,一个通过共享应用程序接口(API)学习可执行技能的智能体策略框架。一个 Proposer-Verifier-Governor(PVG)循环利用特权仿真证据诊断执行结果并验证更新,同时将学到的技能保持在公开观测和 API 语义的基础上。Cerebellum(小脑)首先习得局部操作技能;随后 Brain(大脑)在 Cerebellum 冻结的情况下学习任务层面的技能组合。两套记忆都能在无需任务策略微调或技能记忆更新的情况下迁移到真实机器人。当 GPT-5.6 Sol 在 LIBERO-90 上学习技能,并使用 GPT-6 Astra 对每个冻结检查点进行评测时,LIBERO-ProLong 的成功率从 2.0% 提升至 56.3%,且全程未在 ProLong 上训练。在独立的 Robosuite 训练中,Sol 和 Opus 5 在七个任务上分别达到 85.1% 和 89.4% 的平均成功率。使用 Astra 在四个真实世界操作任务中评测时,由 Sol 训练并冻结的 LIBERO-90 技能达到了 78.75% 的平均完成率。在 LIBERO-90 训练过程中移除 Verifier 或 Governor,分别会使最终 ProLong 成功率下降 17.3 和 13.3 个百分点。这些结果支持了通过统一机器人接口学习并迁移一套可执行技能层级体系的思路。
查看 arXiv 页面 · 查看 PDF · 项目页面 · 添加到收藏
在你的智能体中获取这篇论文:
hf papers read 2610\.02788
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有模型关联此论文
在模型的 README.md 中引用 arxiv.org/abs/2610.02788,即可从此页面建立关联。
引用此论文的数据集 0
没有数据集关联此论文
在数据集的 README.md 中引用 arxiv.org/abs/2610.02788,即可从此页面建立关联。
引用此论文的 Spaces 0
没有 Space 关联此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.02788,即可从此页面建立关联。
包含此论文的收藏集 0
没有收藏集包含此论文
将此论文添加到收藏集即可从此页面建立关联。
相似文章
Real2Gym: 从视频构建训练场,为机器人带来技能
Real2Gym是一个基于代理的Real2Sim2Real框架,它将人类和机器人的视频演示转化为交互式模拟训练场,使技能能够转移到物理机器人上,并且成功率优于基线。
零样本仿真到现实机器人学习:关于反应性抓取的灵巧操作研究
本文介绍了域随机化实例集(DRIS),一种同时表示多个随机化实例的方法,以改善灵巧操作的仿真到现实迁移。该方法在具有平板末端执行器且要求无真实世界微调的反应性抓取任务上展示了零样本迁移。
趣味性自主机器人学习
介绍趣味性自主机器人学习(Playful Agentic Robot Learning),其中具身编码智能体通过自主探索游戏(self-directed play)学习可复用技能,无需额外训练即可提升下游任务表现。提出的RATs系统在仿真和现实世界迁移中相比基线取得了显著提升。
Skill0.5:面向智能体强化学习中分布外泛化的技能内化与利用联合框架
Skill0.5是一种新颖的智能体强化学习框架,通过动态难度感知路由器将通用技能内化与任务特定技能利用相结合,改进了复杂任务环境中的分布外泛化能力,在ALFWorld和WebShop上的实验证明了其效果。
MotorMind:为通用视觉语言模型搭建框架以实现零样本机器人操作
MotorMind 提出了一套框架(harness),让通用视觉语言模型(VLM)能够直接对观测进行推理、发出中层动作并接收异步反馈,从而控制机器人。在 LIBERO-PRO 零样本任务上达到 66.7% 的成功率(此前方法最高仅 13.3%),在真实 xArm6 机器人上达到 95%,全程无需任务特定训练、编码智能体(coding agent)或接地工具(grounding tools)。