从训练到生产,NVIDIA 与 CoreWeave 闭环驱动智能体 AI

NVIDIA Blog 新闻

摘要

NVIDIA 与 CoreWeave 正在 CoreWeave Cloud 上将 Vera Rubin NVL72 系统投入生产,Devin AI 的开发商 Cognition 成为首个生产客户,报告称在软件工程推理工作负载上 token 吞吐量最高提升 4.8 倍。CoreWeave 还推出了 CoreWeave Forge,并将提供 NVIDIA Vera CPU——号称首款专为 AI 智能体打造的 CPU。

<div id="bsf_rt_marker"></div><p><span style="font-weight: 400;">在近十年的共同工程经验之上,CoreWeave 已将 NVIDIA 的计算、网络和软件整合进一个专为 AI 打造的云平台,该平台在多个部署世代中依然持续创造投资回报。如今,CoreWeave 正将新一代 NVIDIA 基础设施投入生产。</span></p> <p><span style="font-weight: 400;">在本周于旧金山举办的 CoreWeave Fully Connected 大会上,CoreWeave 宣布 </span><a target="_blank" href="https://www.nvidia.com/en-us/data-center/vera-rubin-nvl72/"><span style="font-weight: 400;">NVIDIA Vera Rubin NVL72</span></a><span style="font-weight: 400;"> 系统(配备 Spectrum-X 102.4T 以太网网络)现已可用。软件工程师 AI Devin 背后的应用型 AI 实验室 Cognition,是首个在 Vera Rubin 上运行生产工作负载的客户。</span></p> <p><span style="font-weight: 400;">CoreWeave 还将提供 </span><a target="_blank" href="https://www.nvidia.com/en-us/data-center/vera-cpu/"><span style="font-weight: 400;">NVIDIA Vera</span></a><span style="font-weight: 400;">——首款专为 AI 智能体打造的 CPU。此外,CoreWeave 推出了 CoreWeave Forge,这是一个基于 NVIDIA 加速计算、用于训练、评估和改进模型与智能体的互联环境。</span></p> <p><span style="font-weight: 400;">“NVIDIA 加速计算在多个世代中持续创造价值,”NVIDIA 超大规模与高性能计算副总裁 Ian Buck 表示。“在 Volta 推出近十年之后,CoreWeave 的 NVIDIA V100 GPU 仍在运行客户工作负载,而与此同时 CoreWeave 已将 Vera Rubin NVL72 投入生产。这正是 NVIDIA 平台的力量:基础设施能持续多年创造收益,同时具备把合适的 GPU 配置到合适工作负载上的灵活性。</span><span style="font-weight: 400;">”</span></p> <h2><b>Cognition 运行于 Vera Rubin NVL72,Token 吞吐量提升 4.8 倍</b></h2> <p><span style="font-weight: 400;">Cognition 在 CoreWeave 上运行 Devin 的训练、强化学习和生产推理。该公司在九个月内将规模扩展到数千块 GPU,为 Cognition 的推理工作负载提供算力。</span></p> <p><span style="font-weight: 400;">本月初,CoreWeave 收到了首批 Vera Rubin NVL72 生产机架。不久之后,Cognition 使用真实世界的工作负载,将 Vera Rubin 的推理性能与 GB200 NVL72 基线进行了基准测试。为生成该工作负载,其从 FrontierCode 中抽取了一批任务,并部署 AI 智能体来解决这些问题。</span></p> <p><span style="font-weight: 400;">在早期测试中,Cognition 发现 Vera Rubin NVL72 在 SWE-2 推理工作负载上,总 token 吞吐量较 GB200 NVL72 最高提升 4.8 倍。对于 Devin 而言,这些提升意味着更快的实时代码生成和响应更敏捷的多步推理。</span></p> <p><span style="font-weight: 400;">“智能体编码是一种复杂的工作负载:长上下文、高并发和大量 token,而每个 token 的成本决定了我们能交付什么,”Cognition 创始团队成员 Silas Alberti 表示。“把所有这一切都放在同一个平台上,并且有 NVIDIA 和 CoreWeave 的工程师与我们一同攻克难题,这一点对我们而言比任何单项规格都更重要。</span></p> <h2><b>CoreWeave 宣布 NVIDIA Vera Rubin 在 CoreWeave Cloud 上可用</b></h2> <p><span style="font-weight: 400;">CoreWeave 宣布 NVIDIA Vera Rubin NVL72 现已在 CoreWeave Cloud 上可用,使其成为首批将该平台交付到客户手中的云服务提供商之一。</span></p> <p><span style="font-weight: 400;">抢先体验的客户可以在 CoreWeave Cloud 上快速发挥 NVIDIA 全栈 AI 工厂平台的性能。仅用数天,CoreWeave 就为 Cognition 搭建起一个生产级 Vera Rubin 集群,这得益于 NVIDIA 与 CoreWeave 从底层基础设施到所服务 token 的全栈协同设计与合作。</span></p> <p><span style="font-weight: 400;">算力可通过 CoreWeave Kubernetes Service(SUNK)、CoreWeave Mission Control、CoreWeave Sandboxes 和 CoreWeave Inference 进行操作管理。</span></p> <h2><b>NVIDIA Vera CPU 将登陆 CoreWeave Cloud,测试显示智能体沙箱启动速度提升逾 3 倍</b></h2> <p><span style="font-weight: 400;">智能体 AI 从两个方向对基础设施施加压力:服务智能体需要大规模低延迟计算,而通过后训练改进智能体则需要数千个隔离环境同时运行。</span></p> <p><span style="font-weight: 400;">NVIDIA Vera CPU 专为智能体工作负载而打造。对于智能体 AI,一个关键的性能衡量指标是:最多能同时运行多少个隔离的智能体环境,以及随着数量增长,每个环境还能保持多高的一致性和性能。</span></p> <p><span style="font-weight: 400;">CoreWeave 的 Vera 部署在单个机架内配置了 128 颗 CPU、共 11,264 个核心,每个环境占用一个核心,足以支持超过 11,000 个并发环境。借助 CoreWeave Sandboxes,这些环境彼此硬件隔离,并与其所支撑的训练任务并行运行,由 Spectrum-X 以太网交换机和 BlueField-4 DPU 保障低延迟、安全且高性能的智能体通信。</span></p> <p><span style="font-weight: 400;">在测试中,CoreWeave 在 NVIDIA Vera CPU 上实现了智能体沙箱启动速度提升逾 3 倍,从而加速并扩展其沙箱。沙箱是一个面向强化学习(RL)、智能体工具使用和模型评估的执行层,让 AI 团队能在 CoreWeave 的隔离环境中运行代码。在 Terminal-Bench 上,CoreWeave 在所有通过的任务中观察到 Vera CPU 带来 1.7 倍的性能提升。</span></p> <h2><b>CoreWeave Forge:让 AI 闭环从生产回流到训练</b></h2> <p><span style="font-weight: 400;">模型与智能体通过循环运行不断改进:生产环境中的行为为下一轮训练提供依据,而每一次评估又打磨出下一个版本。长期以来,这一循环被分散在不同供应商的各类工具之间,每次交接都会丢失信息。</span></p> <p><span style="font-weight: 400;">CoreWeave Forge 将 Weights &amp; Biases、来自 OpenPipe 的后训练专长以及开源 marimo 笔记本项目统一到一个互联环境中,专为持续改进模型和智能体而构建,并在模型、框架和云之间保持开放。</span></p> <p><span style="font-weight: 400;">现已可用的新功能及扩展能力包括:</span></p> <ul> <li><b>CoreWeave ARIA </b><span style="font-weight: 400;">——现已全面可用——帮助用户在 AI 闭环中学习、研究、编码和迭代:分析运行记录、提出实验建议、推荐代码改动并将其存入 GitHub,同时带回可直接行动的证据——分析实验数据、揭示变化的驱动因素,并建议下一步该执行哪些实验。</span></li> <li><b>CoreWeave Agent Lens </b><span style="font-weight: 400;">——一项全新服务——将生产环境的智能体可观测性转化为持续改进和易于理解的洞察。它将故障检出率提升 20%,并以一半的成本完成修复,从而把数千万条生产环境智能体追踪记录转化为驱动修复的洞察。</span></li> <li><b>CoreWeave Sandboxes</b><span style="font-weight: 400;">——现已全面可用——让用户在隔离的 CPU 或 GPU 执行环境中运行智能体、工具调用、RL 和评估,既可用无服务器基础设施,也可用其现有的训练基础设施,为每一次智能体工具调用、每一轮 RL 或每一项评估都提供全新的隔离环境。</span></li> <li><b>后训练提升模型质量并降低延迟与成本</b><span style="font-weight: 400;">——利用用户自身的生产信号,无需训练集群。</span> <a target="_blank" href="https://www.coreweave.com/products/coreweave-forge/serverless-sft"><span style="font-wei
查看原文
查看缓存全文

缓存时间: 2026/09/30 15:31

# 从训练到生产,NVIDIA 与 CoreWeave 闭环打造 Agentic AI 来源:https://blogs.nvidia.com/blog/coreweave-agentic-ai-vera-rubin/ 在近十年的联合工程实践基础上,CoreWeave 已将 NVIDIA 的计算、网络和软件深度整合,构建出专为 AI 而生的云平台,并在多代部署中持续获得投资回报。如今,CoreWeave 正将下一代 NVIDIA 基础设施投入生产环境。 在本周于旧金山举行的 CoreWeave Fully Connected 大会上,CoreWeave 宣布推出搭载 Spectrum-X 102.4T 以太网网络的 NVIDIA Vera Rubin NVL72(https://www.nvidia.com/en-us/data-center/vera-rubin-nvl72/)系统。开发 Devin AI 软件工程师的 Cognition 是首家在 Vera Rubin 上运行生产工作负载的客户。 CoreWeave 还将提供 NVIDIA Vera(https://www.nvidia.com/en-us/data-center/vera-cpu/)—— 业界首款专为 AI 智能体打造的 CPU。此外,CoreWeave 推出了 CoreWeave Forge,一个在 NVIDIA 加速计算之上进行模型与智能体训练、评估和改进的集成环境。 " NVIDIA 加速计算能够跨代创造价值," NVIDIA 超大规模与高性能计算副总裁 Ian Buck 表示," CoreWeave 的 NVIDIA V100 GPU 在 Volta 发布近十年后仍运行着客户工作负载,与此同时 CoreWeave 正将 Vera Rubin NVL72 投入生产。这正是 NVIDIA 平台的实力所在:能够持续多年产生收益的基础设施,以及将正确的 GPU 用于正确工作负载的灵活性。" ## **Cognition 在 Vera Rubin NVL72 上实现 4.8 倍 Token 吞吐提升** Cognition 在 CoreWeave 上运行 Devin 的训练、强化学习和生产推理任务。该公司在九个月内就在 CoreWeave 上扩展到数千块 GPU,支撑 Cognition 的推理工作负载。 本月初,CoreWeave 收到了首批 Vera Rubin NVL72 生产机架。随后不久,Cognition 使用真实世界的软件工程工作负载,将 Vera Rubin 的推理性能与 GB200 NVL72 基线进行了对比测试。为了生成这一工作负载,他们从 FrontierCode 中采样了一批任务,并部署 AI 智能体来解决这些任务。 在早期测试中,Cognition 发现 Vera Rubin NVL72 在 SWE-2 推理工作负载上,总 Token 吞吐量相比 GB200 NVL72 最高提升 4.8 倍。对 Devin 而言,这些提升意味着更快的实时代码生成和更灵敏的多步推理。 " Agentic 编码是一种复杂的工作负载:长上下文、高并发和巨大的 Token 量,每 Token 的成本直接决定了我们能交付什么," Cognition 创始团队成员 Silas Alberti 表示," 能在一个平台上完成这一切,并且 NVIDIA 和 CoreWeave 的工程师与我们一起攻克难题,这对我们来说比任何单一规格都更重要。" ## **CoreWeave 宣布 NVIDIA Vera Rubin 上线 CoreWeave Cloud** CoreWeave 宣布 NVIDIA Vera Rubin NVL72 已在 CoreWeave Cloud 上线,使其成为首批向客户提供该平台的云服务商之一。 早期访问客户可以快速在 CoreWeave Cloud 上利用 NVIDIA 全栈 AI 工厂平台的性能。仅用数天,CoreWeave 就为 Cognition 搭建起了生产级 Vera Rubin 集群,这得益于 NVIDIA 与 CoreWeave 在基础设施到 Token 交付的全栈层面进行的联合设计与协作。 用户可通过 CoreWeave Kubernetes Service、SUNK、CoreWeave Mission Control、CoreWeave Sandboxes 和 CoreWeave Inference 等工具管理算力资源。 ## **NVIDIA Vera CPU 将登陆 CoreWeave Cloud,测试显示智能体沙箱启动速度快 3 倍以上** Agentic AI 从两个方向对基础设施提出压力:服务智能体需要大规模低延迟计算,而通过后训练改进智能体则需要数千个隔离环境同时运行。 NVIDIA Vera CPU 专为 Agentic 工作负载而设计。对 Agentic AI 而言,一项关键的性能指标是能够同时运行多少个隔离的智能体环境,以及随着数量增长,每个环境能否保持一致性和高性能。 CoreWeave 部署的 Vera 在单个机架中容纳了 128 颗 CPU、11,264 个核心,足以支撑超过 11,000 个各占一个核心的并发环境。借助 CoreWeave Sandboxes,这些环境实现了硬件级隔离,并与其所支撑的训练任务并行运行;Spectrum-X 以太网交换机和 BlueField-4 DPU 确保智能体通信的安全、低延迟和高性能。 在测试中,CoreWeave 在 NVIDIA Vera CPU 上实现了超过 3 倍的智能体沙箱启动提速。沙箱是一个用于强化学习(RL)、智能体工具调用和模型评估的执行层,让 AI 团队可以在 CoreWeave 的隔离环境中运行代码。在 Terminal-Bench 上,CoreWeave 在 Vera CPU 上的所有通过任务中实现了 1.7 倍的性能提升。 ## **CoreWeave Forge:从生产端闭环回到训练** 模型和智能体通过运行一个闭环来持续改进:生产行为反馈到下一轮训练,每次评估都让下一个版本更加精进。这一闭环历史上一直分散在来自不同厂商的工具中,信号在每一次交接中都有所流失。 CoreWeave Forge 将 Weights & Biases、OpenPipe 的后训练专业能力以及开源 marimo notebook 项目整合在一个专为模型与智能体持续改进而构建的集成环境中。它在模型、框架和云平台层面保持开放。 现可供使用的新功能和扩展功能包括: - **CoreWeave ARIA** —— 现已正式可用 —— 帮助用户在 AI 闭环中进行学习、研究、编码和迭代:分析运行结果、提出实验建议、推荐代码修改并将其存入 GitHub,同时带回可操作的证据,分析实验数据、揭示驱动变化的关键因素,并提出下一步要运行的实验。 - **CoreWeave Agent Lens** —— 一项全新服务 —— 将生产环境的智能体可观测性转化为持续改进和可理解的洞察。它将故障检测能力提升 20%,并以一半的成本修复问题,让数千万条生产环境的智能体调用记录转化为驱动修复的洞察。 - **CoreWeave Sandboxes** —— 现已正式可用 —— 让用户在隔离的 CPU 或 GPU 执行环境中运行智能体、工具调用、强化学习和评估,既可使用无服务器基础设施,也可使用已有的训练基础设施,为每次智能体工具调用、RL 运行或评估提供全新的隔离环境。 - **后训练提升模型质量、降低延迟和成本**,利用用户自身的生产信号,无需训练集群。无服务器监督微调(https://www.coreweave.com/products/coreweave-forge/serverless-sft)和无服务器 RL(https://www.coreweave.com/products/coreweave-forge/serverless-rl)让用户可以试验自己的训练配方。无服务器 RL 的训练速度比自行管理的方案快 1.4 倍,成本低 40%。 NVIDIA Dynamo(https://www.nvidia.com/en-us/ai/dynamo/)—— 一款面向 AI 工厂的开源推理框架 —— 为 CoreWeave 的托管推理服务以及现已开启私有预览的 RL Rollouts 提供支持。RL Rollouts 可在实时部署运行时加载新的检查点,使强化学习无需重新部署即可持续进行,后训练也能获得与生产环境同等的推理效率。 Canva、Capital One 和 MasterClass 是率先在 Forge 上构建的公司之一。 NVIDIA Nemotron(https://www.nvidia.com/en-us/ai-data-science/foundation-models/nemotron/)开源模型为 Forge 上的团队提供了一条直接路径,可用于定制和部署面向 Agentic 工作流的推理模型与多模态模型。 ## **从初创公司到全球企业的实证成效** AI 实验室、AI 原生企业和全球性企业正在使用 NVIDIA 与 CoreWeave 联合工程的平台,更快地从原型走向生产。 在医疗健康领域,为 15 个州约 50,000 名高需求 Medicare 患者提供居家护理服务的 Ennoble Care 选择了 CoreWeave 来运行临床 AI 推理。该公司将在 CoreWeave Kubernetes Service 上使用预留的 NVIDIA RTX PRO 6000 GPU 资源,扩展用于临床文书记录、决策支持和后台自动化的 AI 智能体。 CoreWeave 在每一轮 MLPerf 训练和推理测试中都交出了创纪录的成绩(https://coreweave.com/blog/coreweave-leads-cloud-providers-in-mlperf-r-inference-v6-1-performance-with-nvidia-blackwell-ultra)。它是唯一一家在 SemiAnalysis ClusterMAX 1.0、2.0 和 3.0 中获得白金级排名的云服务商,并为 10 家领先的 AI 实验室中的 9 家提供服务。 NVIDIA 与 CoreWeave 正携手为客户提供一个平台,让实验性的智能体转变为能够编写软件、支持临床医生并在真实世界中创造价值的生产系统。 *欲了解更多信息,欢迎参加 CoreWeave Fully Connected 大会上的 NVIDIA 会议、演示和工作坊*(https://www.nvidia.com/en-us/events/coreweave-fully-connected/)*。*

相似文章

NVIDIA刚刚发布了全新的Vera CPU——据称比x86快两倍

Reddit r/ArtificialInteligence

NVIDIA宣布了采用全新Vera架构的CPU,该架构从头开始为智能代理AI和强化学习而设计,声称性能达到x86替代方案的两倍。Vera Rubin NVL72平台集成了72个GPU和36个CPU,主要客户包括Meta、Oracle和Alibaba。

欧洲各国领导人转向 NVIDIA Vera CPU 以构建本地基础设施

NVIDIA Blog

欧洲AI云服务提供商和服务器制造商正在采用NVIDIA的Vera CPU,以构建针对智能体工作负载优化的本地化、自主可控的AI基础设施。早期采用者报告称,该CPU在数据处理、分析和智能体沙盒环境中均表现出卓越的性能。