NVIDIA和Hugging Face为开源机器人社区向LeRobot引入新模型与框架

<div id="bsf_rt_marker"></div><p><span style="font-weight: 400;">开源AI已经展示了当模型、数据和工具共享时，开发者可以多么快速地创新。</span><a target="_blank" href="https://www.nvidia.com/en-us/industries/robotics/"><span style="font-weight: 400;">机器人技术</span></a><span style="font-weight: 400;">也拥有同样的机遇，但</span><a target="_blank" href="https://www.nvidia.com/en-us/glossary/generative-physical-ai/"><span style="font-weight: 400;">物理AI</span></a><span style="font-weight: 400;">开发的进步仍然会受到昂贵且分散的资源的制约，从大型数据集和机器人基础模型到仿真、计算和验证工具。</span></p> <p><span style="font-weight: 400;">NVIDIA与</span><a target="_blank" href="https://huggingface.co/blog/lerobot-release-v060"><span style="font-weight: 400;">Hugging Face</span></a><span style="font-weight: 400;">正在合作，将用于</span><a target="_blank" href="https://www.nvidia.com/en-us/use-cases/humanoid-robots/"><span style="font-weight: 400;">人形机器人</span></a><span style="font-weight: 400;">的</span><a target="_blank" href="https://developer.nvidia.com/isaac/gr00t"><span style="font-weight: 400;">NVIDIA Isaac GR00T 1.7</span></a><span style="font-weight: 400;">开放推理视觉语言动作（VLA）模型和</span><a target="_blank" href="https://nvidia.github.io/IsaacTeleop/"><span style="font-weight: 400;">NVIDIA Isaac Teleop</span></a><span style="font-weight: 400;">框架引入LeRobot——Hugging Face的开源机器人库——并计划很快加入</span><a target="_blank" href="https://www.nvidia.com/en-us/ai/cosmos/"><span style="font-weight: 400;">NVIDIA Cosmos 3</span></a><span style="font-weight: 400;">，这是一个用于物理AI的前沿模型。这些整合共同为开发者提供了一条更易用、更标准化的端到端机器人开发路径，同时推动整个开源机器人社区的创新与协作。</span></p> <p><span style="font-weight: 400;">“开源是将高级研究转化为人们可以学习、应用并在此基础上构建的成果的方式，”Hugging Face联合创始人兼首席科学官Thomas Wolf表示。“如今，随着NVIDIA Isaac GR00T 1.7和Isaac TeleOp加入LeRobot，机器人开发者可以在开放环境中使用共享的模型、数据和工作流来训练和评估机器人。而随着NVIDIA Cosmos 3的后续计划，社区将有一条途径将前沿世界模型融入同样的协作循环中。” </span></p> <h2><b>面向机器人基础模型的开放管线</b></h2> <p><span style="font-weight: 400;">Hugging Face LeRobot是一个开源机器人库，用于训练、运行和共享机器人数据集、模型、策略和工作流。NVIDIA与Hugging Face的持续合作将NVIDIA的300万机器人开发者与Hugging Face的1600万AI构建者连接起来，通过开放工作流扩展了前沿物理AI工具的可访问性。</span></p> <p><span style="font-weight: 400;">将NVIDIA物理AI能力引入LeRobot，为开发者提供了一种通用方式，通过开放工作流收集和标准化数据、训练和微调机器人基础模型、评估性能并部署模型。这些整合包括：</span></p> <ul> <li style="font-weight: 400;" aria-level="1"><b>NVIDIA Isaac Teleop</b><span style="font-weight: 400;">，一个用于机器人数据收集的开源框架，帮助开发者使用标准化、可互操作的格式从外部设备捕获高质量的人类演示，然后扩展数据集并与社区共享，所有这些都直接在LeRobot中完成。</span></li> <li style="font-weight: 400;" aria-level="1"><b>NVIDIA Isaac GR00T 1.7</b><span style="font-weight: 400;">，首个开放且商业可行的机器人基础模型，使得通过LeRobot工作流进行后训练和部署模型更加容易，帮助开发者以基准性能将GR00T适配到新的机器人形态和任务。</span></li> <li style="font-weight: 400;" aria-level="1"><b>NVIDIA Cosmos 3</b><span style="font-weight: 400;">，一个即将加入LeRobot的物理AI前沿世界基础模型，将帮助开发者生成和增强机器人数据、模拟场景，并在现实世界数据有限或采集成本过高时支持策略开发。</span></li> </ul> <p><span style="font-weight: 400;">这些整合建立在已经与LeRobot连接的更广泛的NVIDIA资源之上，以支持完整的机器人开发循环，包括： </span></p> <ul> <li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">最大的</span><a target="_blank" href="https://huggingface.co/collections/nvidia/physical-ai"><b>开源物理AI数据集</b></a><span style="font-weight: 400;">，下载量超过1500万次，包含超过35万条真实和模拟轨迹以及5700万次抓取，帮助开发者启动其机器人工作流。</span></li> <li style="font-weight: 400;" aria-level="1"><a target="_blank" href="https://developer.nvidia.com/isaac/sim"><b>NVIDIA Isaac Sim</b></a><b>&#8211;和基于</b><a target="_blank" href="https://developer.nvidia.com/isaac/lab"><b>Isaac Lab</b></a><b>的仿真框架</b><span style="font-weight: 400;">，帮助开发者在迁移到实体机器人之前设置环境、生成机器人数据、测试策略并验证行为。</span></li> <li style="font-weight: 400;" aria-level="1"><a target="_blank" href="https://developer.nvidia.com/isaac/lab-arena"><b>NVIDIA Isaac Lab-Arena</b></a><b>在LeRobot环境中心</b><span style="font-weight: 400;">，使开发者能够快速原型化复杂仿真环境，将其注册到LeRobot EnvHub，并在LeRobot生态系统中无缝使用，以训练和评估通用机器人策略，如GR00T、Pi和SmolVLA。</span></li> <li style="font-weight: 400;" aria-level="1"><b>NVIDIA Jetson Thor与LeRobot的Reachy 2集成</b><span style="font-weight: 400;">，支持在开源人形机器人上部署VLA模型。</span></li> </ul> <p><i><span style="font-weight: 400;">了解更多关于如何使用Isaac Teleop、Isaac GR00T 1.7和Isaac Lab-Arena与LeRobot进行端到端人形机器人开发的信息，并</span></i><a target="_blank" href="https://huggingface.co/blog/nvidia/nvidia-isaac-teleop-and-gr00t17-in-lerobot"><i><span style="font-weight: 400;">探索详细的LeRobot集成工作流</span></i></a><i><span style="font-weight: 400;">。</span></i></p>