物理人工智能仿真现状：概览

来源：https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai 返回文章列表 (https://huggingface.co/blog)

- 为何需要仿真 (https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#why-simulation) - 应该选择哪个仿真引擎？ (https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#which-simulation-engine-should-i-use)- MuJoCo (https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#mujoco) - MuJoCo Warp (https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#mujoco-warp) - Isaac Sim (https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#isaac-sim) - Isaac Lab (https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#isaac-lab) - Isaac Lab 3.0 如何关联 Isaac Sim 与 Newton (https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#how-isaac-lab-30-relates-to-isaac-sim-and-newton) - 面向机器人的现代 GPU 加速物理引擎 (https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#modern-gpu-accelerated-physics-for-robotics)- Newton (https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#newton) - 其他仿真引擎 (https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#other-simulation-engines) - 结论 (https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#conclusion) https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#why-simulation为何需要仿真

Humanoide (https://cdn-uploads.huggingface.co/production/uploads/6994dc99f850a10f03fd0b21/Mg3Q_CTe3wrJr6GP_T-DF.gif)图 1:***人形机器人运动仿真。*机器人的姿态由追踪的身体关键点（绿色标记）表示，连续的机器人实例展示了其随时间推移的运动。方向箭头指示了指令运动，展示了使用基于物理的仿真环境来训练和评估机器人运动与控制策略的过程。

构建物理人工智能系统的主要挑战在于数据可用性。大型语言模型（LLMs）和视觉语言模型（VLMs）可以通过互联网规模的数据集进行训练，但机器人技术和物理人工智能系统不具备同样的优势。要训练一个物理人工智能系统，机器人必须学习与物理世界交互的后果。例如，它需要理解当杯子滑落、线缆弯曲或夹爪以错误角度接触物体时会发生什么。

在现实世界中收集此类数据速度慢、成本高、风险大，且有时由于任务的破坏性而不可行。仿真提供了一座桥梁，使开发者能够生成大量逼真、符合物理规律的数据。通过在仿真中远程操作机器人，并借助GPU并行性扩展数据收集，开发者可以生成数千小时的机器人经验，成本仅为现实世界收集的一小部分。

早期的机器人仿真器通常主要用于调试几何、测试控制器或可视化机器人运动。如今，仿真已成为模型开发流程的一部分。团队利用它来生成感知数据集、训练强化学习策略、收集演示、增强真实世界数据、基准测试模型，以及针对罕见或对抗性场景测试策略。这一转变是工业研究实验室和学术团体越来越多地贡献或开发能够满足这些新需求的仿真引擎的原因。

这些需求可以通过三计算机范式来理解：

• **训练计算机：**一个大型GPU集群，用于处理数据和训练基础人工智能模型。
• **仿真计算机：**一台GPU工作站或集群，利用GPU加速物理引擎和RTX渲染来生成机器人经验、传感器数据和模拟交互。
• **机器人端计算机：**一个边缘设备，例如NVIDIA Jetson AGX Thor级系统 (https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-thor/)，在部署期间运行训练好的策略或模型。

earth (https://cdn-uploads.huggingface.co/production/uploads/6994dc99f850a10f03fd0b21/DjwalbNws06-13MvI1f4h.png)图 2:一个物理系统（地球和机器人）与其虚拟表示（数字模型）持续交换数据，通过双向反馈循环实现监测、分析、预测和控制。

每台计算机根据任务的延迟、吞吐量、准确性和部署要求扮演不同角色。

现在有许多仿真引擎可用，各自针对不同用例，如人形机器人、空中飞行器、地面机器人、自动驾驶汽车、四足机器人和灵巧操控器。这些引擎在支持强化学习、批量仿真、丰富接触物理、逼真渲染和传感器仿真方面也有所不同。请参考图2了解按机器人领域和加速特性分类的仿真引擎。

https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#which-simulation-engine-should-i-use应该选择哪个仿真引擎？

开发者常常在为特定用例选择仿真引擎时感到困惑。这通常归结于几个基本问题，例如：

• 我需要可扩展的合成数据生成工作流吗？
• 我需要做强化学习吗？
• 给定仿真引擎支持哪种传感器？
• 仿真引擎支持哪种3D资产格式？
• 需要怎样的环境保真度和规模？

这些因素将帮助开发者决定使用哪个仿真引擎来满足其开发需求。

NVIDIA Isaac Sim (https://developer.nvidia.com/isaac/sim) 和 Isaac Lab (https://developer.nvidia.com/isaac/lab), MuJoCo (https://mujoco.org/), PyBullet (https://pybullet.org/wordpress/), Drake (https://github.com/RobotLocomotion/drake) 以及 Genesis (https://genesis-world.readthedocs.io/en/latest/#) 是用于人形机器人和双臂灵巧操控最流行的一些仿真引擎。每个仿真引擎都针对特定用例，如扩展强化学习、生成合成数据、在仿真中测试算法和/或模型。这里我们将快速概述 MuJoCo、MuJoCo Warp、NVIDIA Isaac Sim 和 Isaac Lab。

https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#mujocoMuJoCo

MuJoCo (https://github.com/google-deepmind/mujoco)，全称 Multi-Joint dynamics with Contact，是一个快速、准确的开源物理引擎，主要用于机器人技术、生物力学、强化学习、控制以及铰接系统仿真。与主要侧重于游戏或视觉真实感的引擎不同，MuJoCo 围绕精确动力学、丰富接触运动和基于模型的优化而设计。对于物理正确性至关重要的系统，MuJoCo 强调速度、准确性和建模能力。

franka (https://cdn-uploads.huggingface.co/production/uploads/6994dc99f850a10f03fd0b21/2l7V9gfY-F42p4pw7ita4.jpeg)图 3:***在 MuJoCo 中仿真的机械臂。*该图展示了一个在基于物理的仿真环境中运行的多关节机械臂与平行夹爪。MuJoCo 用于模拟机器人的动力学、运动学和接触交互，从而在实际部署前支持运动规划、操控和控制算法的开发与评估。

虽然 MuJoCo 在逼真渲染或大规模 GPU 并行仿真方面并非总是最佳选择，但其一些核心特性广为人知，包括确定性管线、定义良好的含接触逆动力学、强大的接触建模以及广义坐标仿真。

https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#mujoco-warpMuJoCo Warp

MuJoCo Warp (https://github.com/google-deepmind/mujoco_warp)，也称为 MJWarp，是 MuJoCo 的 GPU 加速实现，基于 NVIDIA Warp（一个用于编写高性能 CUDA 加速可微分核的 Python 框架）构建，专门针对机器人学习和物理仿真。

它将 MuJoCo 风格的铰接体物理、丰富接触仿真和机器人动力学引入批量 GPU 环境，非常适合强化学习和大规模策略训练。与传统的 CPU MuJoCo 相比，MJWarp 更侧重于吞吐量而非单步延迟：它旨在并行模拟多个世界，减少 CPU-GPU 传输瓶颈，并更高效地扩展接触密集型机器人任务以用于学习工作负载。

https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#isaac-simIsaac Sim

Isaac Sim (https://github.com/isaac-sim/IsaacSim) 是一个基于 NVIDIA Omniverse 构建的开源机器人仿真框架。它使用 OpenUSD (https://developer.nvidia.com/openusd) 作为其核心场景和数据层，允许将机器人、环境、传感器、材质、光照和物理属性表示为 USD prims 和 schemas。Isaac Sim 通过 PhysX 提供高保真物理引擎，通过 RTX 渲染提供逼真渲染，以及面向机器人的传感器仿真，支持相机、深度、激光雷达、雷达、分割和合成数据生成工作流。它可以吸收来自 CAD、URDF、MJCF、USD 和现实世界重建管线的资产，使得机器人能够在逼真的数字孪生环境中进行测试。

https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#isaac-labIsaac Lab

NVIDIA Isaac Lab 3.0 (https://isaac-sim.github.io/IsaacLab/release/3.0.0-beta2/index.html) 是一个开源、GPU 加速、面向智能体的机器人学习仿真框架，旨在规模化训练和评估机器人策略。该方向支持智能体辅助工作流，用于构建环境、调优物理、调试、性能分析、仿真间迁移以及仿真到现实的部署。其基于模块化管理器的工作流和直接工作流支持强化学习、模仿学习、运动规划、数据收集和策略评估。

https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#how-isaac-lab-30-relates-to-isaac-sim-and-newtonIsaac Lab 3.0 如何关联 Isaac Sim 与 Newton

在 Isaac Lab 3.0.0 中，我们已经解耦了 Isaac Sim 和 Omniverse 的依赖，使得 Isaac Lab 成为一个轻量级、多后端的机器人学习框架。

新架构将后端特定代码与核心 Isaac Lab API 分离。开发者可以选择使用带有 PhysX 和 RTX 渲染的 Isaac Sim 进行逼真、富含传感器的工作流，或者运行轻量级无头 Newton 物理引擎进行高吞吐量仿真。此外，开发者可以通过独立的 OVRTX 渲染器 (https://github.com/nvidia-omniverse/ovrtx) 添加逼真传感器，或利用 Newton 渲染器执行需要超大量环境的基于视觉的 RL 任务。

https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#modern-gpu-accelerated-physics-for-robotics面向机器人的现代 GPU 加速物理引擎

现代机器人仿真框架由数值物理驱动：刚体和软体动力学、接触与摩擦模型、关节约束、执行器、传感器以及时间积分。在每个仿真步骤中，引擎估算物体在力、扭矩、碰撞、重力、约束和控制器输入下的运动。对于机器人学习而言，物理引擎必须足够快速、稳定、可重复且可扩展，以运行数千个并行环境，同时又要足够精确，以便将学到的行为从仿真迁移到真实机器人。为了解决这些问题，Newton 库应运而生。

https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#newtonNewton

Newton (https://github.com/newton-physics/newton) 是一个开源、GPU 加速、可扩展且可微分的物理引擎，由 NVIDIA、Google DeepMind 和 Disney Research 联合开发，并由 Linux 基金会管理。它基于 NVIDIA Warp 和 OpenUSD 构建，并将 MuJoCo Warp 集成为关键物理后端。在更广泛的仿真生态系统中，Newton 作为 Isaac Lab 和 MuJoCo Playground 等机器人学习框架的现代物理层，为研究人员提供了一条通往可扩展、可微分、与仿真器无关的物理引擎的路径。具体在 Isaac Lab 中，Newton 目前是一个活跃的集成路径，其中 MuJoCo-Warp 求解器作为高吞吐量机器人学习实验的主要焦点。图 4 展示了不同应用框架如何与 GPU 加速物理库和仿真引擎通信。Newton 提供了多种求解器实现，而不是针对每个问题规定一种数值方法。SolverMuJoCo 和 SolverFeatherstone 使用广义坐标来处理铰接刚体系统。SolverSemiImplicit、SolverXPBD 和 SolverKamino 使用最大坐标公式。SolverVBD 是一个支持刚体、粒子、布料和软体的隐式求解器，但其关节支持仍然有限。SolverImplicitMPM 面向基于粒子的连续体材料，而 SolverStyle3D 专门用于布料仿真。由于不同求解器的能力各异——包括对铰接、变形体、接触和微分的支持——合适的求解器取决于所建模的物理系统。

newton (https://cdn-uploads.huggingface.co/production/uploads/6994dc99f850a10f03fd0b21/tXtjQgKuWSqBf495zdgfB.png)图 4：Newton 物理引擎是一个基于 NVIDIA Warp 构建的开源、GPU 加速仿真引擎，专为机器人专家和仿真研究人员设计。

https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#other-simulation-engines其他仿真引擎

PyBullet (https://github.com/bulletphysics/bullet3) 仍然是一个有用的 CPU 基准用于快速原型设计；DART (https://github.com/dartsim/dart) 和 ODE (https://github.com/thomasmarsh/ODE) 仍然是 Gazebo 的后端；Drake (https://drake.mit.edu/) 是如果您需要接触隐式轨迹优化以及严格数值计算（而非吞吐量）时的黄金标准。每个引擎都有其特定领域。但它们都不能回答“我需要在一张 GPU 上运行 4096 个人形机器人”这类问题。

https://huggingface.co/blog/nvidia/state-of-simulation-for-physical-ai#conclusion结论

机器人仿真已悄然成为现代具身人工智能栈中最重要的层次之一。随着模型从静态数据集转向物理交互，生成高质量、可扩展且多样化的仿真体验不再是可选项，而是基础。仿真正是策略经过压力测试、数据被放大、并且越来越多地是整个训练管线开始的地方。

长期以来，关于机器人仿真器的讨论一直集中在“哪个引擎运行最快”上，对于许多工作负载而言，这一说法仍然成立。在2026年，我们发现更有趣的是一个不同的问题：栈的哪些部分可能成为不同引擎构建于其上的共享基础设施？目前还没有明确答案，但从我们的角度来看，有几个候选者似乎可能。生态系统正在碎片化并重组为分层栈，其中不同的工具进行专业化、互操作，有时相互竞争以定义其他人将依赖的抽象层。

我们自信地认为，这项工作中异常多的部分是在开源、公开治理且任何拥有消费级 GPU 的人都可以使用的环境下完成的。核心基础设施（物理引擎、可微分仿真器）中越来越多的份额正在以开放方式发展。