NVIDIA Cosmos 全新工具：训练、评估与部署世界模型

NVIDIA Blog 2026/10/22 05:00 产品

world-models physical-ai synthetic-data nvidia robotics autonomous-vehicles open-models

摘要

NVIDIA 通过新增训练工具、模拟检查点以及 Cosmos Data Factory 蓝图扩展了 Cosmos 平台，帮助开发者构建、评估和部署面向物理 AI 的世界模型。包括 Porsche、Volkswagen Group、ANYbotics、Microsoft Azure、Nebius 和 CoreWeave 在内的合作伙伴已在使用这些蓝图，加速自动驾驶汽车和机器人技术的开发。

<div id="bsf_rt_marker"></div>为帮助开发者快速构建 <a target="_blank" href="https://www.nvidia.com/en-us/glossary/world-models/">世界模型</a>，使 <a target="_blank" href="https://www.nvidia.com/en-us/glossary/generative-physical-ai/">物理 AI</a> 系统能够理解和模拟真实世界，NVIDIA 通过新增训练工具、模拟检查点以及 Cosmos Data Factory 蓝图扩展了 <a target="_blank" href="https://www.nvidia.com/en-us/ai/cosmos/">Cosmos 平台</a>。 在六项不同的开放模型排行榜中均位居前五，NVIDIA Cosmos 平台为世界模型开发者提供前沿的开放模型，以及数据、训练和优化工具与方案，帮助开发者扩展训练数据、适配模型、测试行为，并在部署前进行性能优化。 <h2>构建更优质的训练数据</h2> 构建世界模型始于多模态、多感官数据。 <a target="_blank" href="https://github.com/NVIDIA/cosmos-data-factory">NVIDIA Cosmos Data Factory</a> 汇集了用于大规模标注、筛选、增强和评估物理 AI 训练数据的工具和技能。Cosmos Curator 是一款 GPU 加速的视频训练数据集筛选方案，现已支持多模态多感官输入和处理模块。 <div style="margin: 0 !important; padding: 0 !important; text-align: center; line-height: 1;"><a style="display: inline-flex; align-items: center; justify-content: center; margin: 0 !important; padding: 10px !important; background-color: #76b900; color: #ffffff !important; font-family: 'NVIDIA Sans', Arial, sans-serif; font-size: 16px; font-weight: bold; line-height: 1 !important; text-align: center; text-decoration: none !important; white-space: nowrap; vertical-align: top;" href="https://blogs.nvidia.com/gtc-berlin-2026-news/">阅读 NVIDIA 在欧洲的所有公告</a></div>   Cosmos Data Factory 现已提供以下五个云原生蓝图，可通过 <a target="_blank" href="https://github.com/NVIDIA/cosmos-data-factory">GitHub</a>、<a target="_blank" href="https://www.microsoft.com/en-us/microsoft-cloud/blog/mobility/automotive/2026/10/21/advancing-autonomous-vehicle-development-with-microsoft-nvidia-porsche-and-voxel51/">Microsoft Azure</a>、<a target="_blank" href="https://nebius.com/blog/posts/nebius-expands-physical-ai-workbench-agentic-workflows-nvidia-cosmos%E2%81%A0%EF%BF%BD">Nebius</a> 和 <a target="_blank" href="https://coreweave.com/news/coreweave-unveils-coreweave-physical-ai-launchables-taking-the-setup-work-out-of-robotics-and-av-development">CoreWeave</a> 使用： <ul> <li style="font-weight: 400;" aria-level="1">自动驾驶汽车数据集生成：筛选和标注驾驶数据，然后添加难以捕捉场景的合成样本，以扩展训练覆盖范围。</li> <li style="font-weight: 400;" aria-level="1">图像属性增强：改变物体外观以提升图像搜索效果。</li> <li style="font-weight: 400;" aria-level="1">事件视频生成：将静态图像转换为罕见或不安全事件的合成视频。</li> <li style="font-weight: 400;" aria-level="1">缺陷图像生成：生成印刷电路板、金属和玻璃缺陷图像，用于检测模型训练。</li> <li style="font-weight: 400;" aria-level="1">视频数据增强：在保留场景结构的前提下，改变现有素材中的天气和光照条件。</li> </ul> <div style="width: 1200px;" class="wp-video"><video class="wp-video-shortcode" id="video-99128-1" width="1200" height="675" loop autoplay preload="auto" controls="controls"><source type="video/mp4" src="https://blogs.nvidia.com/wp-content/uploads/2026/10/CDF-visual-Oct20.mp4?_=1" /><a href="https://blogs.nvidia.com/wp-content/uploads/2026/10/CDF-visual-Oct20.mp4">https://blogs.nvidia.com/wp-content/uploads/2026/10/CDF-visual-Oct20.mp4</a></video></div> Cosmos Data Factory 通过智能体技能加速数据筛选、处理和合成数据生成。 多家企业已经开始利用 Cosmos Data Factory 蓝图来加速其物理 AI 开发工作流。 Porsche 正牵头在 Volkswagen Group 旗下各品牌之间构建共享的自动驾驶汽车数据飞轮，通过 Microsoft Azure 上的 Voxel51 使用 Cosmos Data Factory。预计将减少高达 90% 的重复实车测试驾驶，并将开发周期缩短最多 85%。 <div style="width: 1200px;" class="wp-video"><video class="wp-video-shortcode" id="video-99128-2" width="1200" height="675" preload="auto" controls="controls"><source type="video/mp4" src="https://blogs.nvidia.com/wp-content/uploads/2026/10/Porche-Cosmos-Data-Factory.mp4?_=2" /><a href="https://blogs.nvidia.com/wp-content/uploads/2026/10/Porche-Cosmos-Data-Factory.mp4">https://blogs.nvidia.com/wp-content/uploads/2026/10/Porche-Cosmos-Data-Factory.mp4</a></video></div> Porsche 在 Voxel51 中搜索和增强自动驾驶汽车视频素材，由 Cosmos Data Factory 提供支持。 ANYbotics 使用 Cosmos Data Factory 蓝图生成了超过 1,500 个合成视频片段，筛选真实世界数据并通过 <a target="_blank" href="https://encord.com/data-labs/nvidia-anybotics-synthetic-data/">Encord</a> 的平台验证输出结果，用于训练其工业巡检机器人识别液体泄漏以及不同巡检之间的其他变化。 <div style="width: 1200px;" class="wp-video"><video class="wp-video-shortcode" id="video-99128-3" width="1200" height="675" preload="auto" controls="controls"><source type="video/mp4" src="https://blogs.nvidia.com/wp-content/uploads/2026/10/ANYbotics-Cosmos-Data-Factory.mp4?_=3" /><a href="https://blogs.nvidia.com/wp-content/uploads/2026/10/ANYbotics-Cosmos-Data-Factory.mp4">https://blogs.nvidia.com/wp-content/uploads/2026/10/ANYbotics-Cosmos-Data-Factory.mp4</a></video></div> ANYbotics 在 NVIDIA Cosmos Data Factory 提供支持下，通过 Encord 生成异常片段。 <a target="_blank" href="https://www.ultralytics

查看原文

查看缓存全文

缓存时间: 2026/10/22 15:51

# NVIDIA Cosmos 推出新工具，助力训练、评估和部署世界模型来源：https://blogs.nvidia.com/blog/cosmos-open-train-evaluate-deploy-world-models/ 为帮助开发者快速构建世界模型（https://www.nvidia.com/en-us/glossary/world-models/），使物理 AI（https://www.nvidia.com/en-us/glossary/generative-physical-ai/）系统能够理解和模拟真实世界，NVIDIA 扩展了 Cosmos 平台（https://www.nvidia.com/en-us/ai/cosmos/），新增了训练工具、仿真检查点和 Cosmos Data Factory 蓝图。在六个不同的开放模型排行榜中，NVIDIA Cosmos 平台有五项位列前五，为世界模型构建者提供前沿的开放模型——以及数据、训练和优化工具与方案——用于扩展训练数据、适配模型、测试行为并在部署前进行性能优化。 ## **构建更优质的训练数据** 构建世界模型始于多模态、多感官数据。 NVIDIA Cosmos Data Factory（https://github.com/NVIDIA/cosmos-data-factory）汇集了用于大规模标注、策展、增强和评估物理 AI 训练数据的工具与技能。Cosmos Curator 是一款 GPU 加速的视频训练数据集策展解决方案，现已支持多模态多感官输入和处理模块。 Cosmos Data Factory 现提供以下五个云原生蓝图，可通过 GitHub（https://github.com/NVIDIA/cosmos-data-factory）、Microsoft Azure（https://www.microsoft.com/en-us/microsoft-cloud/blog/mobility/automotive/2026/10/21/advancing-autonomous-vehicle-development-with-microsoft-nvidia-porsche-and-voxel51/）、Nebius（https://nebius.com/blog/posts/nebius-expands-physical-ai-workbench-agentic-workflows-nvidia-cosmos%E2%81%A0%EF%BF%BD）和 CoreWeave（https://coreweave.com/news/coreweave-unveils-coreweave-physical-ai-launchables-taking-the-setup-work-out-of-robotics-and-av-development）获取： - **自动驾驶数据集生成：**策展和标注驾驶数据，然后添加难以捕获场景的合成样本，扩展训练覆盖面。 - **图像属性增强：**变换物体外观以提升图像搜索效果。 - **事件视频生成：**将静态图像转换为罕见或不安全事件的合成视频。 - **缺陷图像生成：**生成印刷电路板、金属和玻璃缺陷图像，用于检测模型训练。 - **视频数据增强：**在保持场景结构不变的前提下改变现有画面中的天气和光照条件。 https://blogs.nvidia.com/wp-content/uploads/2026/10/CDF-visual-Oct20.mp4 *Cosmos Data Factory 通过智能体技能加速数据策展、处理和合成数据生成。* 各企业已开始使用 Cosmos Data Factory 蓝图来加速其物理 AI 开发工作流。 Porsche 正在 Volkswagen Group 各品牌间牵头开发共享的自动驾驶数据飞轮，通过 Microsoft Azure 上的 Voxel51 使用 Cosmos Data Factory。此举预计可将重复性实车路测减少最多 90%，并将开发周期缩短最多 85%。 https://blogs.nvidia.com/wp-content/uploads/2026/10/Porche-Cosmos-Data-Factory.mp4 *Porsche 在 Voxel51 中搜索和增强自动驾驶数据画面，由 Cosmos Data Factory 提供支持。* ANYbotics 利用 Cosmos Data Factory 蓝图生成了超过 1,500 段合成视频片段，策展真实世界数据并使用 Encord（https://encord.com/data-labs/nvidia-anybotics-synthetic-data/）平台验证输出结果，以训练其工业巡检机器人识别液体泄漏及其他设施巡检间的环境变化。 https://blogs.nvidia.com/wp-content/uploads/2026/10/ANYbotics-Cosmos-Data-Factory.mp4 *ANYbotics 使用 NVIDIA Cosmos Data Factory 驱动的 Encord 生成异常片段。* 计算机视觉公司 Ultralytics（https://www.ultralytics.com/blog/nvidia-cosmos-yolo-synthetic-defect-detection?utm_source=nvidia&utm_medium=referra）使用真实图像和通过 Cosmos Data Factory 生成的针对性合成缺陷图像重新训练了其 YOLO 模型，提升了缺陷定位和召回能力。 ## **训练、适配和优化模型** 训练数据准备好之后，开发者可以选择训练自己的架构，也可以从预训练模型起步。在 GTC Berlin 上，NVIDIA 将 Cosmos Framework（https://github.com/NVIDIA/cosmos-framework）的训练、优化和部署工具及方案以智能体技能的形式扩展到更多开放模型，同时推出 Cosmos 3，为世界模型构建者提供从实验到部署的更快路径。开发者和智能体现在可以通过微调和强化学习来适配 GR00T、Alpamayo、QWEN、Pi0.5 等开放模型及其他兼容的 Hugging Face 模型，利用蒸馏和量化进行模型优化，并以高性能推理进行部署。图示：一个模型构建智能体使用技能和开放模型骨干来准备数据、训练、微调、应用强化学习，并优化世界模型以进行推理。Cosmos Framework 是一个开放、模块化的模型训练和优化工具与技能框架，旨在加速世界模型开发。为开发一个专门用于第一人称视角操作的世界模型，机器人研究实验室 MicroAGI 使用人类操作物体的视频对 Cosmos 3 进行了后训练，并将其 320 亿参数的推理模型蒸馏为 80 亿参数的 Nano 模型，精度无损。开发者可以在 Roboflow（http://google.com/url?q=http://blog.roboflow.com/roboflow-joins-nvidia-cosmos-coalition&sa=D&source=docs&ust=1792534578709344&usg=AOvVaw3wuHbhvvFjmEwKpqE36ZSs）上标注数据并对 Cosmos 3 进行后训练，以适配特定环境和任务，然后将这些模型部署到 RoboFlow 托管或本地的 NVIDIA GPU 上，将视频推理引入工厂和仓库场景。 ## **测试策略并更快运行模型** 在这些工具之外，NVIDIA 持续通过 Cosmos 模型的研发推进基础技术。全新的 Cosmos 3 Nano 模型变体（https://huggingface.co/collections/nvidia/cosmos3-examples）面向仿真场景，使开发者能够在可重复、难以捕获的多视角多传感器场景中测试自主策略。配套代码支持开发者适配这些模型，在交互式仿真中训练和评估自己的自动驾驶车辆及双臂机器人策略，然后再到真实环境中进行测试。 Cosmos 使用各相机的起始图像、每个视角的简短描述、WSM 控制信号以及一次 LiDAR 周围环境扫描来生成视频。多视角和多感官视频数据生成，用于闭环仿真中的策略评估。开发者可以通过更新的 NVIDIA Cosmos 3 NIM（https://catalog.ngc.nvidia.com/orgs/nim/nvidia/containers/cosmos3/-）微服务部署核心 Cosmos 模型，在经过验证的配置中实现最高 2 倍的推理速度提升且质量无损，同时持续视频分析可实现亚秒级告警。对于视觉 AI 开发者，全新的 NVIDIA Metropolis 视频搜索与摘要（VSS）3.3 蓝图（https://build.nvidia.com/nvidia/video-search-and-summarization）基于 Cosmos NIM 微服务构建，仅需一条提示词即可生成高效的视频 AI 应用，帮助团队在相同 GPU 上监控多 40% 的视频流。 ADNOC 使用 Fogsphere 的 MistIQ 智能体平台，该平台基于 Cosmos 和 NVIDIA Metropolis VSS 蓝图构建，可实时检测 65 个站点的安全隐患。对于罕见事件，Fogsphere（https://fogsphere.com/fogsphere-scales-ai-agents-at-adnoc/）还使用 Cosmos Data Factory 生成合成训练数据，无需实际模拟危险场景即可提升检测能力。 https://blogs.nvidia.com/wp-content/uploads/2026/10/ADNOC-Cosmos.mp4 *Cosmos 平台完全模块化且开放。开发者可以使用 Cosmos Data Factory（https://github.com/NVIDIA/cosmos-data-factory）生成训练数据集，使用 Cosmos Framework（https://github.com/NVIDIA/cosmos-framework）训练和适配世界模型，然后通过 NIM 微服务（https://catalog.ngc.nvidia.com/orgs/nim/nvidia/containers/cosmos3/-）部署受支持的 Cosmos 模型。*

NVIDIA Cosmos 全新工具：训练、评估与部署世界模型

相似文章

NVIDIA/cosmos

Nvidia Cosmos 3

NVIDIA 推出 Cosmos 3，面向物理AI的开放前沿基础模型（5分钟阅读）

nvidia/Cosmos3-Edge

Cosmos 3 如何帮助物理 AI 在行动前思考

提交意见反馈