Nvidia的自主机器人研究（6分钟阅读）

# 自主机器人策略的实世界自改进 来源：https://research.nvidia.com/labs/gear/enpire/ ## ENPIRE：自主机器人策略的实世界自改进 ,谢嘉 (https://jia-xie.com/)2†,张通和 (https://tonghe-zhang.github.io/)2†,林浩天 (https://darthutopian.github.io/)2†,傅乐天 "Max" (https://max-fu.github.io/)3,薛浩然 (https://haoruxue.github.io/)3,陆嘉伦2,杨毅 (https://yiyang-23.github.io/)2,戴存希 (https://cunxid.github.io/)2,王子 (https://ziwang1105.github.io/)1,吴吉米 (https://jimmyyhwu.github.io/)1,王冠智 (https://guanzhi.me/)1,S\. Shankar Sastry (https://www2.eecs.berkeley.edu/Faculty/Homepages/sastry.html)3,Ken Goldberg (https://goldberg.berkeley.edu/)3,范麟熙 "Jim" (https://jimfan.me/)1‡,朱宇科 (https://yukezhu.me/)1‡,石冠亚 (https://www.gshi.me/)2‡ 1NVIDIA2CMU3UC Berkeley†同等贡献‡同等指导 论文 (https://drive.google.com/drive/folders/1J8w1yQux9ODYqTNZ2ynOIFjerBIQtw1V?usp=sharing) NVIDIA卡内基梅隆大学加州大学伯克利分校 ## 摘要 在实世界实现灵巧的机器人操作高度依赖人类监督和算法工程，这是追求通用物理智能的核心瓶颈。尽管新兴的编码代理可以生成代码来自动化算法搜索，但其成功仍主要局限于数字环境。我们推测，自动化机器人研究所缺失的抽象是一个可重复的实世界策略改进反馈循环：重置场景、执行策略、验证结果、优化下一次迭代。 为弥合这一差距，我们引入了ENPIRE，一个面向编码代理的框架，它通过四个核心模块实例化了这一物理反馈流程：环境模块（EN）用于自动重置和验证，策略改进模块（PI）启动策略优化，推演模块（R）用于在单个或多个并行运行的物理机器人上评估策略，以及进化模块（E），其中编码代理分析日志、查阅文献、改进训练基础设施和算法代码以解决失败模式。 这个闭环系统将实世界机器人学习转化为一个代理可管理的可控优化过程，从而在最小化人工投入的同时，允许对训练配方和代理变体进行公平消融实验。借助ENPIRE，前沿编码代理能够自主开发策略，在实世界中具有挑战性的灵巧操作任务（如PushT、将别针整理入针盒、以及使用刀具切割扎带）上达到99%的成功率。 编码代理可以通过各种PI机制改进策略，例如启发式学习、工具调用、行为克隆、离线或在线RL。此外，ENPIRE可以在机器人集群上显著加速，我们提出了两个指标，即平均机器人利用率（MRU）和平均令牌利用率（MTU），用于衡量多智能体物理自动研究的效率。我们还包括了RoboCasa中的仿真结果。我们的发现指向一条在实世界中自主推进机器人学的实用且可扩展的道路。 ## 学得的操作策略 使用ENPIRE训练的策略在展示的操作任务上达到了99%的pass@8成功率。 ### Push T ### 插针 ### GPU插入 ### 绑扎带 ### 剪扎带 ENPIRE在真实机器人上完全自主运行。仅通过自动重置和验证接口，一组编码代理提出算法假设（启发式学习、行为克隆、离线和在线RL），针对实世界成功率进行测试，并保留能提升成功率的改动。下面的想法树将该搜索过程追踪为一个假设的git树——每个代理一条分支，每个尝试的想法一个节点——绘制在与成功率曲线相同的挂钟时间轴上，这样你就可以看到哪些想法推动了曲线的上升。 I1I2I3I6I7I13I22I24I34I8I36I62I69I70I72I74I75I77I78I79I80I81I82I83I84I85I86I4I9I12I26I37I16I41I44I48I52I55I57I59I61I64I65I67I68I71I73I76I18I29I35I42I45I47I49I50I53I54I56I58I60I63I66I10I23I27I5I11I15I17I19I21I28I33I38I39I40I46I51I14I20I25I30I31I32I43050%100%团队平均最佳成功率I16 在线RL混合演示\+3\.8 ppI37 BC正则化\+10\.8 ppI56 调整BC项权重\+0\.4 ppI66 调整批量大小1024→512\+0\.9 ppI76 补偿控制器\+1\.3 pp01小时2小时3小时研究挂钟时间→每个点=一个想法点击任意点阅读该想法绿色圈=提升团队平均分数的想法绿色曲线=跨代理启发 **图1：**每个编码代理探索自己想法的独立分支，一个车道一个分支。每个点都是它尝试过的一个想法；绿色圈表示一个提高了团队平均成功率的想法，绿色曲线追踪跨代理的启发。下图追踪团队平均成功率在研究挂钟时间内的攀升情况。 ## ENPIRE 系统 构建环境 策略改进 动作 观测量 奖励 3 \# TODO: 自动任务重置 4 pick\_and\_place(obj, target) 8 defget\_reward(self, obs, act): 10 mask = sam3(obs['left']) 11 pos = boundlsdf(obs, mask) 14 defget\_observation(self): 一个真实机器人农场ENPIRE环境 01文献综述 PLDRL-令牌CaP-X 02提出算法变体 启发式离线到在线RL代码即策略BC 03优化基础设施 数据采样器参数扫描 04总结实验结果 050%100%团队平均最佳成功率在线RL混合演示\+3\.8 ppBC正则化\+10\.8 pp重新评估\+12\.5 pp调整BC项权重\+0\.4 pp调整批量大小1024→512\+0\.9 pp补偿控制器\+1\.3 pp01h2h3h研究挂钟时间 →爬山时间线 GPU插入 GPU插入插针 插针Push-T Push-T扎带切割 扎带切割 实世界任务 构建任务目标&反馈运行推演日志 图2：ENPIRE系统概览，作为原生站点组件集成，共享排版和动画。## 从机器人硬件到代理可操作的环境 在代理能够改进机器人策略之前，任务必须能够自动重置和自动验证。两个能力使这成为可能：自动评估，无需人工判断即可评分每次试验的结果；以及自动重置，将场景恢复到新的初始状态以进行下一次试验。 ### 自动评估 我们使用一个源自自动研究的奖励函数来自动评分扎带插入的结果：一个检测器在扎带头和扎带条周围绘制边界框，一个分割模型将相同部分解析为原始视图上的遮罩，每个摄像头视图独立判断扎带条是否穿过头部且超出固定长度阈值。然后将每个摄像头的判断融合为最终的二元奖励。 **边界框**检测器框绘制在原始俯视图和右视图上 **分割**零件遮罩叠加在原始俯视图和右视图上俯视摄像头 否 右摄像头 否 **每个摄像头判断**尾部是否被头部覆盖？奖励=0 **最终奖励**两个摄像头融合为一个二元奖励 ### 自动重置 下面的重置面板展示了使重复实验成为可能的物理循环：选择一个随机化的初始状态，运行重置行为，验证试验是否准备好进行下一个策略。 **案例1：Push T** **案例2：插针** **案例3：绑扎带** **案例4：GPU插入** - 自动重置将每个任务返回到已知的随机初始状态，无需人工干预。 - 自动验证记录重置是否成功，并暴露代表性帧供检查。 ## 代理从物理反馈改进策略 一旦环境可操作，代理就会编辑策略代码、运行试验、检查失败，并决定下一步要更改什么。Push-T面板可视化了多个代码代理在相同六个初始状态下的实际推演轨迹，因此行为是可检查的，而不仅仅是通过成功率来总结。 Codex Push-T rollout0% 覆盖率43步 Claude Code Push-T rollout0% 覆盖率73步 Kimi Code Push-T rollout0% 覆盖率66步 分布内随机初始化 分布外随机初始化 ## 评估编码代理 我们评估了三个编码代理的物理自动研究能力：Codex with GPT-5.5、Claude Code with Opus 4.7和Kimi Code with Kimi K2.6。AutoEnvBench不仅仅询问最终策略是否成功，还追踪代理驱动的研究进展在挂钟时间上的变化，涵盖Push-T和插针任务。 0% ### Push-T（启发式学习） #### Push-T模型比较 024680%25%50%75%100%归一化得分研究时间（小时）0小时 ### 插针（基于梯度的学习） #### 插针模型比较 0123450%75%100%成功率研究时间（小时）0小时 **代理：** 图3：编码代理在AutoEnvBench上的比较，衡量代理驱动的研究进展，涵盖Push-T和插针任务。## 在机器人集群上扩展自动研究 扩展代理数量会同时改变研究进展和硬件压力。缩放定律图比较了在Push-T和插针任务上的一、四和八代理团队，而资源利用率图显示了机器人利用率、GPU利用率、令牌吞吐量以及达到任务成功所需的时间。 0% ### Push-T扩展 #### Push-T团队扩展 0123450%25%50%75%100%归一化得分研究时间（小时）0小时 ### 插针扩展 #### 插针团队扩展 00\.511\.50%25%50%75%100%成功率研究时间（小时）0\.0小时 **团队规模：** 图4：AutoEnvBench的缩放定律视图，比较在Push-T和插针任务上的一、四和八代理研究团队。 0% 插针使用机器人集群的自动研究 Push-T阶段性研究进度分组条形图显示首次移动、范围满足、方向满足和首次成功的时间（分钟），用于Codex视觉消融实验。0153045607590105120135达到时间（分钟）25385555Codex带原生视觉13207899Codex将VLM作为视觉工具13137272Codex带GoFE视觉 图5：在集群扩展设置下的Push-T阶段性进度。条形报告达到连续行为里程碑的时间；须线标记首次成功的变异性。条形机器人/令牌GPU/观察到的吞吐量参考线性投影±10%至成功时间 1个代理4个代理8个代理0255075100(a) 平均资源利用率利用率（%） 1个代理4个代理8个代理050k100k150k(b) 平均令牌利用率 MTU 1个代理4个代理8个代理051015012345(c) 达到成功的令牌令牌数（M）至成功时间（小时） 图6：1、4和8个代理的代理资源利用率。(a) 平均机器人和GPU利用率。(b) 平均令牌吞吐量及线性缩放投影。(c) 达到任务成功所需的令牌数和时间。## 仿真中的评估 我们还在仿真中评估了ENPIRE，以将代理驱动的研究行为与实世界硬件吞吐量分离开来。仿真任务让代理可以运行更密集的消融实验，在受控重置下比较策略改进机制，并测试在物理循环中发现的配方是否能够迁移到更广泛的操作设置中。 **咖啡设置马克杯**种子1·右摄像头 种子1推演进度 **咖啡设置马克杯**种子2·右摄像头 种子2推演进度 ## 局限性与未来方向 **机器人和计算资源未被充分利用** 当编码代理在读取日志、编写代码、调试或等待语言模型骨干时，它们并未充分利用机器人资源。随着机器人数量增多，MRU下降，而GPU活跃利用率上升。与单机器人设置相比，代理团队花费更多时间总结同伴分支，操作机器人的时间更少，并且编码代理可能无法启动足够的并行训练会话来耗尽GPU资源。 **扩展机器人集群导致更高的令牌消耗** 扩展机器人集群会推动更高的令牌消耗：随着更多代理读取日志、总结同伴分支和协调，达到成功策略所需的总令牌预算随集群规模增长而增加。更大的集群可以更快地达到成功，但额外的加速是以更高的令牌消耗为代价的。 ## 致谢 我们感谢许多同事的帮助，使这个项目成为可能。我们感谢Jason Liu、Tony Tao、Tairan He、Alex Lin、Jim Yang、Paul Zhou和Abhi Maddukuri的深刻讨论和反馈；感谢Yide Shentu、Bike Zhang、Angchen Xie、Dvij Kalaria和Yuqi Xie对实验的支持；感谢Lion Park、Matin Furutan、Jeremy Chimienti、Dennis Da和Tri Cao对集群运营的支持；以及感谢Tri Cao的演示镜头。我们还感谢NVIDIA GEAR团队和CMU LeCAR实验室的持续支持。