NVIDIA 推出 Cosmos 3，面向物理AI的开放前沿基础模型（5分钟阅读）

# NVIDIA 发布 Cosmos 3：面向物理 AI 的开放前沿基础模型 来源：https://nvidianews.nvidia.com/news/nvidia-launches-cosmos-3-the-open-frontier-foundation-model-for-physical-ai **新闻摘要：** - NVIDIA Cosmos 3 是一款登顶排行榜的开放物理 AI 基础模型，基于突破性的混合 Transformer 架构构建，用于物理 AI 推理、世界模拟和动作生成。 - Cosmos 3 是全球首个完全开放的万能模型，原生支持视觉推理以及文本、图像、视频、环境声音和动作的多模态生成，用于最先进的合成数据生成和物理 AI 策略模型开发。 - NVIDIA 联合领先 AI 实验室和机器人领导者——包括 Agile Robots、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI——成立 NVIDIA Cosmos 联盟，共同推动下一代开放世界模型的发展。 **NVIDIA GTC Taipei** — NVIDIA 今日发布 NVIDIA CosmosTM 3 (https://www.nvidia.com/en-us/ai/cosmos/)，一个面向物理 AI 的开放世界基础模型。该模型基于突破性的混合 Transformer (https://www.nvidia.com/en-us/glossary/mixture-of-transformers/) 架构，将视觉推理、世界生成和动作预测整合到单一系统中。 Cosmos 3 是全球首个完全开放的万能模型 (https://www.nvidia.com/en-us/glossary/omni-model/)，能够原生理解并生成文本、图像、视频、环境声音和动作，具有领先的物理准确性，将物理 AI 训练和评估周期从数月缩短至数天。 NVIDIA 还启动了 NVIDIA Cosmos 联盟，这是一个由世界模型 (https://www.nvidia.com/en-us/glossary/world-models/) 构建者和 AI 开发者参与的全球合作——包括 Agile Robots (https://www.agile-robots.com/en/news/detail/?tx_news_pi1%5Baction%5D=detail&tx_news_pi1%5Bcontroller%5D=News&tx_news_pi1%5Bnews_preview%5D=158&cHash=d40b462afdc783bd58a86c12e0bbb770)、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI——共同推进下一代世界模型的发展。 “物理 AI 的大爆炸即将到来，这要归功于多模态推理语言、视觉和世界模型的突破，”NVIDIA 创始人兼首席执行官黄仁勋表示。“Cosmos 3 开放前沿万能模型系列为开发者提供了代际跃升的能力，使他们能够构建感知、推理、规划并在物理世界中行动的机器人、自动驾驶汽车和视觉 AI。” **物理 AI 的新架构** Cosmos 3 解决了物理 AI 的一个根本挑战：使机器人、自动驾驶汽车 (AV) 或视觉智能体能够在训练数据有限且模拟栈碎片化的现实世界中实现泛化。 该模型的混合 Transformer 架构将一个推理 Transformer 与一个专家生成 Transformer 配对，使 Cosmos 3 能够在生成视频和动作轨迹之前理解物体交互、运动和时空关系。 Cosmos 3 在最大的多模态物理 AI 数据集之一上训练——包含数十亿样本，涵盖文本、图像、视频、声音和动作轨迹——为开发者提供了一个强大的预训练基础，用于构建物理 AI 系统，所需数据更少，训练成本更低。 开发者可以将 Cosmos 3 用作： - **一个视觉语言模型** (https://www.nvidia.com/en-us/glossary/vision-language-models/)，能够跨模态理解与推理。 - **一个世界模型或视频基础模型**，用于模拟物理环境并预测未来世界状态，以支持训练和评估。 - **世界动作模型** (https://www.nvidia.com/en-us/glossary/world-action-model/) 的骨干，帮助训练机器人执行特定任务。 Cosmos 3 模型在物理 AI 基准测试中取得了领先成果。在开放模型中，它在 Artificial Analysis (https://artificialanalysis.ai/leaderboards/models?weights=open&reasoning=reasoning&size=small%2Cmedium)、Physics-IQ (https://physics-iq.github.io/)、PAI-Bench (https://huggingface.co/spaces/shi-labs/physical-ai-bench-leaderboard) 和 R-Bench (https://huggingface.co/spaces/DAGroup-PKU/RBench-Leaderboard) 的世界生成准确性方面排名第一，在 RoboLab (https://research.nvidia.com/labs/srl/projects/robolab/) 和 RoboArena (https://robo-arena.github.io/leaderboard) 的动作策略方面排名第一，以及在 VANTAGE-Bench (https://huggingface.co/spaces/clemson-computing/VANTAGE-Bench-Leaderboard) 和 TAR (https://eval.aicitychallenge.org/aicity2026/submission/leaderboard?trackId=3&type=general) 的视觉理解榜单上排名第一。 Cosmos 3 系列为开发者提供了针对不同物理 AI 开发阶段的选择： - **Cosmos 3 Super**：适用于需要最高物理准确性和生成质量的后训练机器人和自动驾驶汽车模型。 - **Cosmos 3 Nano**：适用于在几分之一秒内完成高质量视频和动作推理。 - **Cosmos 3 Edge**（即将推出）：适用于边缘端的实时推理。 **Cosmos 联盟加速开放世界模型发展** Cosmos 联盟是一个由世界模型构建者、AI 开发者和物理 AI 领导者组成的全球合作，旨在推动各行业的开放世界模型发展。成员可以贡献模型、研究和评估技术，同时利用 Cosmos 3 技术、训练工具和 NVIDIA DGXTM Cloud (https://www.nvidia.com/en-us/data-center/dgx-cloud/) 基础设施进行大规模训练。 创始成员包括 Agile Robots、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI。通过在开放环境中构建并贡献于共享生态系统，该联盟旨在实现更快的创新、更广泛的互操作性以及物理 AI 的更快速进步。 **开发者基于 Cosmos 构建** Cosmos 平台为 NVIDIA 的物理 AI 栈提供动力，加速各行业的训练和评估工作流。该平台现在包含用于机器人、物理、人体运动、自动驾驶、仓库安全和空间推理的新数据集，以及用于神经场景重建、缺陷图像生成和视频增强的新物理 AI 智能体技能 (https://nvidianews.nvidia.com/news/nvidia-releases-major-collection-of-open-source-agent-tools-and-skills-for-physical-ai)。 各行业的物理 AI 开发者正在基于 Cosmos 平台进行构建——机器人领域的 Agile Robots、Doosan Robotics、LG Electronics、Samsung Electronics 和 Skild AI；自动驾驶汽车领域的 Li Auto；以及视觉 AI 智能体 (https://www.nvidia.com/en-us/use-cases/video-analytics-ai-agents/) 领域的 Centific (https://www.centific.com/blog/centific-brings-last-mile-physical-ai-to-production-with-nvidia-cosmos-3)、Fogsphere (https://fogsphere.com/fogsphere-announces-cosmos-3-support/)、Linker Vision (https://www.linkervision.com/post/linker-vision-unveils-application-driven-ai-grid-for-agentic-video-reasoning-at-scale)、Milestone Systems (https://www.milestonesys.com/resources/content/articles/milestone-hafnia-nvidia-cosmos-3/) 和 Yuan (https://www.yuan.com.tw/news/preview-news?id=336&t=d74eb353274d4fd78e460600ae11a561)——以推动工业 AI 和智能空间应用。 **可用性** Cosmos 3 Super 和 Cosmos 3 Nano 现已可用，Cosmos 3 Edge 即将推出，用于实时推理。开发者可以在 build.nvidia.com (https://build.nvidia.com/models?q=cosmos) 上试用 Cosmos 3，从 Hugging Face (https://huggingface.co/collections/nvidia/cosmos3) 下载开放模型，使用 Hugging Face Diffusers 和 GitHub (https://github.com/nvidia/Cosmos) 上的资源自定义模型并生成合成数据，并将模型部署为 NVIDIA NIM (https://www.nvidia.com/en-us/ai-data-science/products/nim-microservices/)TM 微服务。 模型构建者和软件提供商可以使用 GitHub 上的物理 AI 智能体技能，通过推理服务和云基础设施合作伙伴（包括 Baseten (https://www.baseten.co/blog/nvidia-cosmos-3-robots-finally-take-over)、CoreWeave (https://wandb.ai/wandb_fc/nvidia-cosmos/reports/Build-a-Robotics-Data-Flywheel-on-CoreWeave-using-NVIDIA-Cosmos-3--VmlldzoxNzA3MzA2Ng)、Microsoft Azure、Nebius (https://nebius.com/blog/posts/run-physical-ai-workflows-not-glue-code%20Classmethod:%20https://dev.classmethod.jp/articles/dgx-spark-cosmos3-omni-world-model-policy/)、Deep Infra 和 Classmethod），加速 Cosmos 在关键推理和合成数据生成工作负载上的访问、定制和部署。 *观看黄仁勋的**主题演讲** (https://www.nvidia.com/en-tw/gtc/taipei/keynote/)，了解更多信息请访问 **NVIDIA GTC Taipei** (https://www.nvidia.com/en-tw/gtc/taipei/)，并探索以下 **物理 AI 专场** (https://www.nvidia.com/en-tw/gtc/taipei/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=STW61026%2C%20STW61028%2C%20STW61011%2C%20STW61066%2C%20STW61024%2C%20STW61062%2C%20STW61036#/)。*