NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中展现出领先性能

NVIDIA Blog 2026/09/16 15:00 产品

nvidia vera-rubin nvl72 mlperf inference performance hardware

摘要

NVIDIA 的 Vera Rubin NVL72 系统在 MLPerf Inference v6.1 中首次亮相，展现出领先性能。在 DeepSeek-R1 和 Qwen3-VL 等基准测试中，其吞吐量比 GB300 NVL72 最高提升达 3.7 倍。该系统强调系统性能、扩展效率以及软件优化。

<div id="bsf_rt_marker"></div>系统性能、高效的基础设施扩展以及持续的软件优化，是决定 AI 推理经济效益的关键因素。更高的系统性能意味着生成更多令牌，从而带来更高收入。高效的扩展意味着吞吐量随硬件增加而成比例增长，从而在大规模服务用户时需要更少的资源。持续优化意味着从基础设施投资中创造更多价值。 这三点的基础是平台通用性：相同的基础设施可以运行任何模型、任何工作负载，从训练到推理，从推荐到推理，从语言到视频，从而保持高利用率。 NVIDIA 平台的构建旨在针对所有这些方面进行优化，正如今天发布的 MLPerf Inference v6.1 结果所突出显示的那样： <ul> <li style="font-weight: 400;" aria-level="1">NVIDIA Vera Rubin NVL72 系统以领先性能首次亮相：在首次 MLPerf Inference 预览提交中，NVIDIA Vera Rubin NVL72 的吞吐量比 GB300 NVL72 最高提升3.7 倍。</li> <li style="font-weight: 400;" aria-level="1">NVIDIA GB300 NVL72 以领先效率进行扩展：一个涵盖四个 GB300 NVL72 机架、288 个 GPU 的提交，在离线场景中实现了 99% 的扩展效率，吞吐量从单机架基线近乎线性增长。</li> <li style="font-weight: 400;" aria-level="1">持续的软件优化驱动性能提升：NVIDIA 在 MLPerf Inference v6.1 提交中的软件优化，带来了比 v6.0 高达 1.6 倍的性能提升。优化工作在 v6.1 提交后继续进行，带来了进一步的性能增益。</li> </ul> 对于正在做出 AI 基础设施决策的组织而言，性能、扩展效率和软件迭代速度是决定长期推理经济效益的重要考量因素。 <h2>Vera Rubin NVL72 以领先性能在 MLPerf Inference 中首次亮相</h2> NVIDIA 在 MLPerf Inference v6.1 套件中最具挑战性的两项基准测试——DeepSeek-R1 和 Qwen3-VL 上提交了 Vera Rubin NVL72 预览结果。 Vera Rubin NVL72 在 Qwen3-VL 的离线、服务器和交互式场景中使用 vLLM 与 NVIDIA Dynamo 开源推理框架，其吞吐量比 GB300 NVL72 最高提升3.7 倍。在 DeepSeek-R1 上使用 NVIDIA TensorRT-LLM 库时，其吞吐量比 GB300 NVL72 最高提升 2.5 倍。这些早期结果展示了 NVIDIA 加速创新的步伐，以及性能将如何通过持续的软件优化得到提升。 <figure id="attachment_98218" aria-describedby="caption-attachment-98218" style="width: 1280px" class="wp-caption alignnone"><img fetchpriority="high" decoding="async" class="wp-image-98218 size-full" src="https://blogs.nvidia.com/wp-content/uploads/2026/09/nvidia-vera-rubin-delivers-up-to-3-7x-better-performance.jpeg" alt="" width="1280" height="720" srcset="https://blogs.nvidia.com/wp-content/uploads/2026/09/nvidia-vera-rubin-delivers-up-to-3-7x-better-performance.jpeg 1280w, https://blogs.nvidia.com/wp-content/uploads/2026/09/nvidia-vera-rubin-delivers-up-to-3-7x-better-performance-960x540.jpeg 960w, https://blogs.nvidia.com/wp-content/uploads/2026/09/nvidia-vera-rubin-delivers-up-to-3-7x-better-performance-630x354.jpeg 630w, https://blogs.nvidia.com/wp-content/uploads/2026/09/nvidia-vera-rubin-delivers-up-to-3-7x-better-performance-300x169.jpeg 300w, https://blogs.nvidia.com/wp-content/uploads/2026/09/nvidia-vera-rubin-delivers-up-to-3-7x-better-performance-400x225.jpeg 400w" sizes="(max-width: 1280px) 100vw, 1280px" /><figcaption id="caption-attachment-98218" class="wp-caption-text">MLPerf Inference v6.1，封闭组别。结果于 2026 年 9 月 16 日取自 www.mlcommons.org。NVIDIA 平台结果来自以下条目：6.1-0106 和 6.1-0074。MLPerf 名称和标志是 MLCommons 协会在美国及其他国家的注册和未注册商标。保留所有权利。严禁未经授权使用。更多信息请访问 www.mlcommons.org。</figcaption></figure> 这意味着每个 Vera Rubin NVL72 机架比 GB300 NVL72 机架能够产出显著更多的令牌、服务更多用户并创造更多收入，同时降低每个令牌的成本。 这些结果反映了硬件和软件的全栈协同设计。Vera Rubin 增强的 Tensor Core 和 Transformer 引擎加速了推理的预填充和解码阶段，而 NVFP4 精度降低了模型权重、注意力机制和 KV 缓存的内存占用——在输出质量损失极小的情况下提高了吞吐量。 Vera Rubin 的提交大量使用了分离式服务，将预填充和解码分离，并利用大规模专家并行，以在驱动 DeepSeek-R1 和 Qwen3-VL 等模型的<a target="_blank" href="https://www.nvidia.com/en-us/glossary/mixture-of-experts/">专家混合</a>层中实现最高效率。 NVL72 扩展域——由第六代 NVIDIA NVLink 和 NVLink Switch 驱动，提供比现成以太网高 10 倍的包速率和低 3 倍的延迟——提供了使这些技术在机架规模上有效的互联基础。 这种协同设计延伸至 NVIDIA 的合作伙伴生态系统：<a target="_blank" href="https://nebius.com/blog/posts/mlperf-inference-v6-1-results">Nebius</a> 也提交了 Vera Rubin NVL72 预览结果，并展现了出色的性能。 能够推理、规划并执行多步骤操作的 AI 智能体，正在重塑推理性能的衡量方式。在旨在捕捉这一转变的基准测试中，例如 SemiAnalysis AgentX，Vera Rubin NVL72 在预览测试中展现出比 GB300 NVL72 高 30倍 的性能。此外，即将推出的 MLPerf Endpoints 基准测试将为智能体推理工作负载带来标准化测量，超越传统吞吐量基准所能捕捉的范畴。 <h2>NVIDIA GB300 NVL72 以领先效率进行扩展</h2> 扩展效率——额外 GPU 转化为吞吐量增益的效能——是衡量 AI 基础设施生产力的关键指标。NVIDIA 通过每个机架内的高带宽、低延迟扩展互联，机架间的高带宽网络，以及跨节点的高效请求编排来实现这一点。 NVIDIA 的 DeepSeek-R1 (DSR1) 提交将规模从单个 GB300 NVL72 机架（72 个 GPU）扩展到四个机架（288 个 GPU），在离线场景中实现了 99% 的扩展效率。吞吐量与所增加的硬件几乎成比例增长。 <figure id="attachment_98217" aria-describedby="caption-attachment-98217" style="width: 1280px" class="wp-caption alignnone"><img decoding="async" class="size-full wp-image-98217" src="https://blogs.nvidia.com/wp-content/uploads/2026/09/nvidia-gb300-nvl72-scaling-efficiency.jpeg" alt="" width="1280" height="720" srcset="https://blogs.nvidia.com/w

查看原文

查看缓存全文

缓存时间: 2026/09/16 20:35

# NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中展现领先性能来源: https://blogs.nvidia.com/blog/vera-rubin-nvl72-mlperf-inference/ 系统性能、高效的基础设施扩展以及持续的软件优化，是决定AI推理经济学的关键杠杆。更高的系统性能意味着生成更多的令牌，从而带来更高的收入。高效的扩展意味着随着硬件增加，吞吐量成比例增长，以更少的资源服务于大规模用户。持续优化意味着从基础设施投资中创造更多价值。这一切的基础在于平台的通用性：相同的基础设施可运行任何模型、任何工作负载，从训练到推理，从推荐到推理，从语言到视频，从而保持高利用率。 NVIDIA 平台专为在所有这些方面实现优化而设计，正如今日发布的 MLPerf Inference v6.1 结果所突出显示的： - **NVIDIA Vera Rubin NVL72 系统以领先性能首次亮相**：在其首个 MLPerf Inference 预览提交中，NVIDIA Vera Rubin NVL72 提供了比 GB300 NVL72 高达 3.7 倍的吞吐量。 - **NVIDIA GB300 NVL72 以领先的效率进行扩展**：一个跨四个 GB300 NVL72 机架的 288-GPU 提交在离线场景中实现了 99% 的扩展效率，吞吐量从单机架基准近乎线性增长。 - **持续的软件优化推动性能提升**：NVIDIA 在 MLPerf Inference v6.1 提交中的软件优化相比 v6.0 提供了高达 1.6 倍的性能提升。优化在 v6.1 提交截止后持续进行，带来了进一步的性能增益。对于正在制定AI基础设施决策的组织而言，性能、扩展效率和软件迭代速度是决定长期推理经济学的重要考量因素。 NVIDIA 提交了 Vera Rubin NVL72 的预览结果，针对的是 MLPerf Inference v6.1 套件中两项最具挑战性的基准测试：DeepSeek-R1 和 Qwen3-VL。使用 vLLM 搭配 NVIDIA Dynamo 开源推理框架，Vera Rubin NVL72 在离线、服务器和交互场景下，在 Qwen3-VL 上的吞吐量比 GB300 NVL72 高达 3.7 倍。在 DeepSeek-R1 上，使用 NVIDIA TensorRT-LLM 库，其吞吐量比 GB300 NVL72 高达 2.5 倍。这些早期结果展示了 NVIDIA 加速的创新步伐，以及性能如何随着持续的软件优化而提升。 MLPerf Inference v6.1，封闭组别。结果于2026年9月16日取自 www.mlcommons.org。NVIDIA 平台结果来自以下条目：6.1-0106 和 6.1-0074。MLPerf 名称和标识是 MLCommons Association 在美国和其他国家/地区的注册和未注册商标。保留所有权利。严禁未经授权使用。更多信息请访问 www.mlcommons.org。这意味着每个 Vera Rubin NVL72 机架比一个 GB300 NVL72 机架能够提供显著更多的令牌，服务更多用户，创造更多收入，同时降低每令牌成本。这些结果反映了硬件和软件的全栈协同设计。Vera Rubin 增强的 Tensor Core 和 Transformer Engine 加速了推理的预填充和解码阶段，而 NVFP4 精度降低了模型权重、注意力和 KV 缓存的内存占用——在最小化输出质量损失的情况下提高了吞吐量。 Vera Rubin 的提交大量使用了分离式服务，将预填充和解码分开，并针对为 DeepSeek-R1 和 Qwen3-VL 等模型提供支持的混合专家（https://www.nvidia.com/en-us/glossary/mixture-of-experts/）层进行了大规模专家并行，以实现最大效率。 NVL72 扩展域由第六代 NVIDIA NVLink 和 NVLink Switch 提供支持，其数据包速率比商用以太网高10倍，延迟低3倍，这为在机架规模上使这些技术有效提供了互联基础。这种协同设计延伸到了 NVIDIA 的合作伙伴生态系统：Nebius（https://nebius.com/blog/posts/mlperf-inference-v6-1-results）也提交了 Vera Rubin NVL72 预览结果并展现了出色的性能。 AI 代理能够进行多步推理、规划和行动，正在重塑推理性能的衡量方式。在旨在捕捉这一转变的基准测试中，例如 SemiAnalysis AgentX，Vera Rubin NVL72 在预览测试中实现了比 GB300 NVL72 高 30 倍的性能。此外，即将推出的 MLPerf Endpoints 基准测试将为代理推理工作负载带来标准化测量，超越了传统吞吐量基准测试所能捕获的范围。 ## **NVIDIA GB300 NVL72 以领先的效率进行扩展** 扩展效率——增加的 GPU 在多大程度上转化为吞吐量增长——是衡量AI基础设施生产力的关键指标。NVIDIA 通过机架内高带宽、低延迟的扩展互联、机架间高带宽网络以及跨节点的高效请求编排实现了这一点。 NVIDIA 的 DeepSeek-R1（DSR1）提交从单个 GB300 NVL72 机架（72 个 GPU）扩展到四个机架（288 个 GPU），在离线场景中实现了 99% 的扩展效率。吞吐量几乎与增加的硬件成正比增长。 MLPerf Inference v6.1，封闭组别。结果于2026年9月16日取自 www.mlcommons.org。NVIDIA 平台结果来自以下条目：6.1-0073 和 6.1-0074。MLPerf 名称和标识是 MLCommons Association 在美国和其他国家/地区的注册和未注册商标。保留所有权利。严禁未经授权使用。更多信息请访问 www.mlcommons.org。扩展效率至关重要，因为更多的 GPU 并不自动意味着成比例的更高吞吐量。如果增加近两倍的 GPU 数量仅带来吞吐量个位数的百分比提升，那么基础设施成本将远超过性能回报。架构、互联和软件必须协同扩展。 GB300 NVL72 还在 WAN 2.2 文本转视频基准测试中展示了机架级效率，达到每秒 0.65 个 720p 视频，每个视频耗时 5.7 秒——吞吐量是单节点的 9 倍，延迟是其 1/7.5。 ## **软件优化推动持续增益** NVIDIA 平台进行持续的软件开发，提供性能和功能改进。在 v6.1 中，GB300 NVL72 在 Qwen3-VL 上的性能相比 v6.0 结果提高了多达 1.6 倍。收益来自于更低的 KV 缓存精度、额外的内核融合、更好的内核以及与 vLLM 和 NVIDIA Dynamo 的分离式服务。软件优化在 v6.1 提交截止日期后也持续进行。在 GPT-OSS-120B 和 DLRMv3 上提交后（尚未获得 MLCommons 验证）的结果显示了进一步的性能增益。 ## **各规模的AI推理** 除了 NVIDIA Grace Blackwell 和 Vera Rubin NVL72 平台结果外，NVIDIA 还使用 NVIDIA TensorRT Edge-LLM 在新引入的 Edge-Agentic 基准测试上，搭配 Qwen3.6-27B 提交了 Jetson AGX Thor 的结果。 NVIDIA 合作伙伴生态系统广泛参与，共有 19 家合作伙伴（其中 8 家在多节点 Blackwell NVL72 系统上）展现了出色的性能。这包括 ASUS、Azure、Cisco、CoreWeave、Crusoe、Dell Technologies、Fujitsu、Giga Computing、HPE、Inventec、Lambda、MiTAC Computing、Nebius、Oracle Cloud Infrastructure、Quanta Cloud Technology、Red Hat、ScitiX、Supermicro 和 Wiwynn。从紧凑的边缘设备到最大的 AI 工厂，NVIDIA 通过每年一代的平台架构、持续改进的软件以及为大规模交付而构建的生态系统，持续推动着整个技术栈的性能进步。 *了解更多关于 **NVIDIA Vera Rubin 平台*** (https://blogs.nvidia.com/blog/vera-rubin/) *的信息。*

NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中展现出领先性能

相似文章

每瓦功耗工作量提升高达30倍：NVIDIA Vera Rubin NVL72为AI智能体树立新能效标准

为什么关于 Vera Rubin NVL72 的讨论这么少？

NVIDIA刚刚发布了全新的Vera CPU——据称比x86快两倍

NVIDIA Vera Rubin：每瓦性能驱动，为全球合作伙伴提供最低代币成本

NVIDIA全面投产Groq 3 LPX AI推理加速芯片，以史上最快的令牌生成速度为Vera Rubin平台注入强大动力（4分钟阅读）

提交意见反馈