NVIDIA NVLink Fusion 通过 NVHBM 定制高带宽内存进行扩展

NVIDIA Blog 产品

摘要

NVIDIA 通过 NVHBM 定制高带宽内存技术扩展 NVLink Fusion,该技术提升了 AI 工作负载的内存性能与效率,并与 AWS 的 Annapurna Labs 作为早期合作伙伴进行协作。

<div id="bsf_rt_marker"></div><p><span style="font-weight: 400;">人工智能的下一波浪潮正对基础设施提出新的需求。</span></p> <p><span style="font-weight: 400;">随着 AI 代理和万亿参数工作负载成为主流,AI 基础设施的性能不仅取决于计算能力,还取决于计算、内存、存储、网络和软件如何作为统一系统协同设计。</span></p> <p><span style="font-weight: 400;">为了帮助超大规模企业与 AI 创新者构建下一代半定制 AI 基础设施,NVIDIA 今日通过 <a target="_blank" href="https://www.nvidia.com/en-us/data-center/nvlink-fusion/"><span style="font-weight: 400;">NVIDIA NVLink Fusion</span></a> 引入 <a target="_blank" href="http://developer.nvidia.com/blog/nvidia-nvlink-fusion-brings-nvhbm-to-next-generation-ai-infrastructure"><span style="font-weight: 400;">NVIDIA NVHBM</span></a> 扩展了该平台——NVHBM 是一项下一代高带宽内存技术,为 XPU 带来更高的内存性能和效率。它将由领先的内存合作伙伴验证和提供,将此先进内存能力扩展至 NVLink Fusion 客户。</span></p> <p><span style="font-weight: 400;">传统 HBM 架构将内存控制器置于 XPU 芯片上,消耗了本可用于计算的宝贵硅面积。NVHBM 基于 NVIDIA 未来 GPU 将采用的相同技术构建,将 NVIDIA 的定制内存控制器集成到 HBM 基础芯片中。</span></p> <p><span style="font-weight: 400;">通过将内存控制器集成到 3D HBM 堆栈中而非 XPU 中,NVHBM 提供了高达 <span style="font-weight: 400;">30%</span> 的更高内存带宽和 <span style="font-weight: 400;">15%</span> 的更低 HBM 功耗,并与标准 HBM4E 相比,<span style="font-weight: 400;">释放了最多 25%</span> 的 XPU 计算芯片面积。</span></p> <p><span style="font-weight: 400;">NVIDIA 正建立标准的 NVHBM 实现,可从多家内存供应商获得。这降低了跨多个供应商集成和验证内存所需的工程工作——为 NVLink Fusion 客户提供了更快的定制 AI 芯片上市路径。</span></p> <p><a target="_blank" href="https://nvidianews.nvidia.com/news/aws-and-nvidia-to-deliver-2-million-additional-gpus-and-next-generation-infrastructure-for-agentic-and-physical-ai"><span style="font-weight: 400;">Amazon 的 Annapurna Labs</span></a><span style="font-weight: 400;"> 将作为其与 NVIDIA 在 NVLink Fusion 上更广泛合作的一部分,率先开展 NVHBM 技术工作。</span></p> <h2><b>AWS 与 NVIDIA 继续 NVLink Fusion 合作</b></h2> <p><span style="font-weight: 400;">Amazon 的 Annapurna Labs 将与 NVIDIA 合作,开发 NVHBM 技术和 NVLink 扩展架构,以提升 AI 工作负载的性能和效率。</span></p> <p><span style="font-weight: 400;">这建立在 AWS <a href="https://blogs.nvidia.com/blog/aws-partnership-expansion-reinvent/"><span style="font-weight: 400;">先前宣布</span></a> 的对 NVLink Fusion 支持的基础之上。Annapurna Labs 将从 Trainium4 开始,在其下一代 Trainium 芯片中支持 NVLink Fusion,从而允许 Amazon 芯片和 NVIDIA GPU 使用通用机架级架构协同工作。</span><span style="font-weight: 400;"><br /> </span></p> <p><span style="font-weight: 400;">“NVHBM 代表了推进高带宽内存性能和效率的新架构方法,” <span style="font-weight: 400;">Amazon Annapurna Labs 副总裁 Nafea Bshara</span><span style="font-weight: 400;"> 表示。“我们期待此次技术合作能惠及未来的 AWS 基础设施设计。”</span></span></p> <h2><b>垂直整合与水平开放</b></h2> <p><span style="font-weight: 400;">NVLink Fusion 使合作伙伴能够将定制 XPU 和 CPU 连接到 NVIDIA 的机架级平台。</span></p> <p><span style="font-weight: 400;">合作伙伴可以访问 NVIDIA NVLink 芯片组件、NVLink-C2C、NVLink 交换机和 NVIDIA MGX 系统及机架,以及广泛的 CPU 合作伙伴、ASIC 设计者、系统制造商和技术提供商生态系统。</span></p> <p><span style="font-weight: 400;">随 NVIDIA 每一代机架级系统架构提供,NVLink Fusion 允许超大规模企业和 AI 原生公司集中工程资源于 XPU 创新,同时使用经过验证的技术栈进行扩展和扩展网络、机架级系统和软件——为部署半定制 AI 基础设施创建更快、更低风险的路径。</span></p> <p><i><span style="font-weight: 400;">了解更多关于 </span></i><a target="_blank" href="https://www.nvidia.com/en-us/data-center/nvlink/"><i><span style="font-weight: 400;">NVLink</span></i></a><i><span style="font-weight: 400;"> 和 </span></i><a target="_blank" href="https://www.nvidia.com/en-us/data-center/nvlink-fusion/"><i><span style="font-weight: 400;">NVLink Fusion</span></i></a><i><span style="font-weight: 400;"> 的信息。</span></i></p>
查看原文
查看缓存全文

缓存时间: 2026/08/27 03:11

# NVIDIA NVLink Fusion 扩展至支持 NVHBM 定制高带宽内存 来源:https://blogs.nvidia.com/blog/nvlink-fusion-nvhbm-custom-high-bandwidth-memory/ 下一波人工智能浪潮正在对基础设施提出新的要求。 随着智能体与万亿参数工作负载成为主流,AI 基础设施的性能不仅取决于计算能力,还取决于计算、内存、存储、网络及软件如何作为一个统一系统协同设计。 为帮助超大规模云计算商与 AI 创新者构建下一代半定制 AI 基础设施,NVIDIA 今日扩展了 **NVIDIA NVLink Fusion**(https://www.nvidia.com/en-us/data-center/nvlink-fusion/),并推出 **NVIDIA NVHBM**(http://developer.nvidia.com/blog/nvidia-nvlink-fusion-brings-nvhbm-to-next-generation-ai-infrastructure)——一种下一代高带宽内存技术,可为 XPU 提供更高的内存性能与效率。该技术将通过领先内存合作伙伴进行验证并供应,从而将这一先进内存能力延伸至 NVLink Fusion 客户。 传统 HBM 架构将内存控制器置于 XPU 芯片上,占用了本可用于计算的宝贵硅片面积。NVHBM 基于 NVIDIA 未来 GPU 所采用的同一技术构建,将 NVIDIA 定制内存控制器集成到 HBM 底层芯片中。 通过将内存控制器集成至 3D HBM 堆叠层而非 XPU 中,与标准 HBM4E 相比,NVHBM 可带来**高达 30% 的内存带宽提升**、**15% 的 HBM 功耗降低**,并释放**最多 25% 的 XPU 计算芯片面积**。 NVIDIA 正在建立标准的 NVHBM 实现方案,由多家内存供应商提供。这减少了跨多家供应商集成与验证内存所需的工程投入——使 NVLink Fusion 客户能更快将定制 AI 芯片推向市场。 亚马逊旗下 **Annapurna Labs**(https://nvidianews.nvidia.com/news/aws-and-nvidia-to-deliver-2-million-additional-gpus-and-next-generation-infrastructure-for-agentic-and-physical-ai)将成为首家基于与 NVIDIA 在 NVLink Fusion 领域的广泛合作而开展 NVHBM 研发的厂商。 ## **AWS 与 NVIDIA 持续深化 NVLink Fusion 合作** 亚马逊 Annapurna Labs 将与 NVIDIA 合作推进 NVHBM 技术与 NVLink 扩展架构,以提升 AI 工作负载的性能与效率。 此举建立在 AWS 此前宣布(https://blogs.nvidia.com/blog/aws-partnership-expansion-reinvent/)支持 NVLink Fusion 的基础之上。Annapurna Labs 将从其下一代 Trainium 芯片 Trainium4 起支持 NVLink Fusion,这将使亚马逊芯片与 NVIDIA GPU 能够通过通用机架级架构协同工作。 “NVHBM 代表了一种推进高带宽内存性能与效率的新架构方式,”亚马逊 Annapurna Labs 副总裁 **Nafea Bshara** 表示。“我们期待通过这一技术合作,助力未来 AWS 基础设施的设计。” ## **垂直整合与横向开放** NVLink Fusion 使合作伙伴能够将其定制 XPU 及 CPU 连接至 NVIDIA 的机架级平台。 合作伙伴可获取 NVIDIA NVLink 芯片模组、NVLink-C2C、NVLink 交换机及 NVIDIA MGX 系统与机架,同时还能接入广泛的 CPU 合作伙伴、ASIC 设计商、系统制造商及技术供应商生态。 作为 NVIDIA 每代机架级系统架构的组成部分,NVLink Fusion 让超大规模云计算商与 AI 原生企业能将工程资源聚焦于 XPU 创新,同时采用成熟的技术栈实现扩展与组网、机架级系统及软件——为部署半定制 AI 基础设施提供更快、风险更低的路径。 *了解关于**NVLink*(https://www.nvidia.com/en-us/data-center/nvlink/)*与**NVLink Fusion*(https://www.nvidia.com/en-us/data-center/nvlink-fusion/)*的更多信息。*

相似文章

高带宽闪存为模型权重提供高效存储

Hacker News Top

IEEE Spectrum报道了高带宽闪存(HBF),这是一种新型内存技术,通过使用高带宽内存(HBM)封装技术堆叠NAND闪存芯片,大幅提升读取带宽,实现对LLM模型权重的高效存储。首批产品预计约一年内推出。

SK hynix 开始为 NVIDIA AI 服务器量产 192GB SOCAMM2

Reddit r/LocalLLaMA

SK hynix 已开始量产专为 NVIDIA AI 服务器优化的 192GB SOCAMM2 内存模块,与传统 RDIMM 相比,带宽提升一倍以上,能效提升 75%,解决了 AI 训练工作负载中的内存带宽瓶颈。

HBM之后是什么(7分钟阅读)

TLDR AI

由于英伟达GPU对HBM的AI需求旺盛,存储行业正经历超级周期,供应短缺预计将持续。尽管存在周期性波动,存储制造商仍有望实现高额利润。