深入 Omniverse：开放世界模型如何推动物理 AI 的前沿

<div id="bsf_rt_marker"></div><p><em>编者按：本文是 </em><a target="_blank" href="https://www.nvidia.com/en-us/omniverse/news/"><em>深入 Omniverse</em></a><em> 系列文章之一，该系列聚焦开发者、3D 从业者与企业如何利用 </em><a target="_blank" href="https://www.nvidia.com/en-us/omniverse/usd/"><em>OpenUSD</em></a><em> 和 </em><a target="_blank" href="https://www.nvidia.com/en-us/omniverse/"><em>NVIDIA Omniverse</em></a><em> 的最新进展来变革工作流程。</em></p> <!-- /wp:post-content --> <!-- wp:paragraph --> <p>7 月，NVIDIA 与超过 200 家公司和组织共同签署了“<a target="_blank" href="https://images.nvidia.com/pdf/Open-Weights-and-American-AI-Leadership.pdf">开放权重与美国 AI 领导力</a>”公开信，信中提出，AI 领导力的衡量标准不是某一个前沿模型，而是开放生态系统是否触及每个行业。</p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p><a target="_blank" href="https://www.nvidia.com/en-us/glossary/open-models/">开放模型</a>让这一切成为可能——任何人都可以下载、检查、修改并在自己的基础设施上运行这些模型。这一点在<a target="_blank" href="https://www.nvidia.com/en-us/glossary/generative-physical-ai/">物理 AI</a> 领域尤为关键，因为每一次部署都是一个定制化问题。</p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p>物理 AI 必须理解并预测后果，而不仅仅是外观。</p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p>为了实现这一点，<a target="_blank" href="https://www.nvidia.com/en-us/glossary/world-models/">世界模型</a>学习物理环境的行为方式、接下来可能发生什么以及哪些后续动作是合理的。它们可以生成基于物理的世界与动作数据、模拟未来状态，并为团队提供可针对机器人、自动驾驶汽车或视觉 AI 系统进行定制的基础。</p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p>开放世界模型已被用于生成训练数据、测试策略以及定制物理 AI 系统。<a target="_blank" href="https://www.nvidia.com/en-us/ai/cosmos/">NVIDIA Cosmos 3</a> 将这些能力整合到一个开放模型系列中，在机器人、自动驾驶汽车和视觉 AI 领域取得了领先的基准测试结果并获得广泛应用。</p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p>此外，作为 NVIDIA Agent Toolkit 一部分的 <a target="_blank" href="https://www.nvidia.com/en-us/omniverse/">NVIDIA Omniverse</a> 库提供了用于构建可仿真世界的预置能力，物理 AI 团队可以在实际部署前使用这些能力来训练、测试和验证系统。</p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p><iframe title="Bringing Agent-Ready Simulation Into Blender" width="1200" height="675" src="https://www.youtube.com/embed/XdtQbMXHDjQ?feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe></p> <!-- /wp:paragraph --> <!-- wp:heading {"level":2} --> <h2 class="wp-block-heading"><strong><strong>世界模型是物理 AI 的基础</strong></strong></h2> <!-- /wp:heading --> <!-- wp:paragraph --> <p>物理 AI 所需的数据在所需规模下难以采集且成本高昂。罕见事件和长尾场景尤其难以安全、可重复地复现。</p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p>世界模型能够实现：</p> <!-- /wp:paragraph --> <!-- wp:list --> <ul class="wp-block-list"><!-- wp:list-item --> <li> <p dir="ltr" role="presentation">通过从大规模多模态场景中学习物理关系，生成更有用的数据。</p> </li> <!-- /wp:list-item --> <!-- wp:list-item --> <li> <p dir="ltr" role="presentation">生成更多样化的环境，涵盖不同的天气、光照、物体和轨迹。</p> </li> <!-- /wp:list-item --> <!-- wp:list-item --> <li> <p dir="ltr" role="presentation">提供更好的基础，以便针对特定机器人、车辆、传感器配置、任务或运行环境进行构建和适配。</p> </li> <!-- /wp:list-item --></ul> <!-- /wp:list --> <!-- wp:paragraph /--> <!-- wp:paragraph --> <div style="width: 1200px;" class="wp-video"><video class="wp-video-shortcode" id="video-97234-1" width="1200" height="675" autoplay preload="auto" controls="controls"><source type="video/mp4" src="https://blogs.nvidia.com/wp-content/uploads/2026/08/cosmos-corp-blog-promo-1920x1080-1.mp4?_=1" /><a href="https://blogs.nvidia.com/wp-content/uploads/2026/08/cosmos-corp-blog-promo-1920x1080-1.mp4">https://blogs.nvidia.com/wp-content/uploads/2026/08/cosmos-corp-blog-promo-1920x1080-1.mp4</a></video></div> <p>&nbsp;</p> <p>通用模型从未见过团队特定的机器人、传感器或运行环境。要弥合这一差距，需要访问模型权重、获得允许适配的许可证以及进行后训练所需的工具。</p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p>NVIDIA Cosmos 世界基础模型采用 Linux 基金会的 OpenMDW 1.1 许可证发布，使团队能够根据自己的数据和硬件对模型进行后训练。定制化正是开放性成为实际技术要求的地方。</p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p>定制模型只是工作流程的一部分。团队还需要环境来生成数据、运行仿真和测试行为。</p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p>Omniverse 库帮助开发者构建可仿真的环境，而 <a target="_blank" href="https://www.nvidia.com/en-us/glossary/openusd/">OpenUSD</a> 提供开放框架，用于在<a target="_blank" href="https://www.nvidia.com/en-us/glossary/digital-twin/">数字孪生</a>、仿真和<a target="_blank" href="https://www.nvidia.com/en-us/glossary/synthetic-data-generation/">合成数据生成</a>工作流程中组合、复用和交换复杂的 3D 数据。Omniverse 与 OpenUSD 共同减少了重复工作——否则每次资产、传感器配置或环境条件变化时，这些工作都会不断累积。</p> <!-- /wp:paragraph --> <!-- wp:heading {"level":2} --> <h2 class="wp-block-heading"><strong><strong>Cosmos 3：前沿模型</strong></strong></h2> <!-- /wp:heading --> <!-- wp:paragraph --> <p><iframe title="Introducing NVIDIA Cosmos 3: The Open Model That Thinks, Generates, and Acts" width="1200" height="675" src="https://www.youtube.com/embed/q7Hj3J9SOXw?start=2&amp;feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe></p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p>NVIDIA Cosmos 3 是一个前沿的开放物理 AI 基础<a target="_blank" href="https://www.nvidia.com/en-us/glossary/omni-model/">全能模型</a>，基于 <a target="_blank" href="https://www.nvidia.com/en-us/glossary/mixture-of-transformers/">混合 Transformer</a> 架构构建，结合了视觉推理、世界生成和动作预测，使开发者能够使用一个模型系列来理解场景、生成合成数据、模拟未来状态，并构建专门的<a target="_blank" href="https://www.nvidia.com/en-us/glossary/world-action-model/">世界动作模型</a>。</p> <!-- /wp:paragraph --> <!-- wp:paragraph --> <p>开发者可以将 Cosmos 3 用作 <a target="_blank" href="https://www.nvidia.com/en-us/glossary/vision-language-models/">视觉语言模型</a>、物理世界模拟器（预测未来世界状态并生成大规模合成数据），或者作为构建专门世界动作模型的基础。</p> <!-- /wp:paragraph -->