AMD的Instinct MI455X：志在巅峰

# AMD的Instinct MI455X：瞄准太阳 来源：https://chipsandcheese.com/p/amds-instinct-mi455x-aiming-for-the 各位互联网朋友大家好，在AMD的Advancing AI活动中，我们看到了AMD全新的Instinct MI455X，它取代了此前AI产品线顶端的Instinct MI355X。这是AMD首款专为机架级AI部署设计的GPU，基于全新的CDNA5架构，计算单元和SoC均有重大变化，包括计算性能增强、内存带宽提升、内存容量增大，并采用台积电的CoWoS-L封装。 [](https://substackcdn.com/image/fetch/$s_!vm_9!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F5aed42bb-f239-4316-89ea-e12fcafad025_964x1156.png)Instinct MI455X 封装 它随新的Helios机架级解决方案一同推出，支持在一个pod内扩展至72个GPU，而之前的MI355X系统仅为8个GPU。它还采用了一种基于ULink over Ethernet (UALoE) 的新型容错扩展网络架构，在整个机架内实现单跳全互连通信。 [](https://substackcdn.com/image/fetch/$s_!_r7h!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F36178e7e-1f53-4c5f-a783-d4aca555a48a_1357x2048.png)AMD Helios 机架 单个MI455X包含256个工作组分处理器（WGP），分布在8个加速器复合芯片（XCD）上，最高“引擎”时钟频率为2.4GHz。其峰值算力包括：矩阵/向量FP32和向量FP16可达315 TFLOP，OCP MXFP4最高可达40.26 PFLOP。与之搭配的是12组HBM4堆栈，通过2048位总线连接，共192通道，每颗GPU拥有总计432 GB内存，带宽达23.3 TB/s。 [](https://substackcdn.com/image/fetch/$s_!mXZC!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ff6d6e6fd-ecfb-4915-bb3b-485fd81aa594_2015x1074.png)MI455X 概念图 首先，在“计算单元”方面，AMD在CDNA5中改用WGP计数，而非CU计数。这与消费级产品不同（后者每个WGP计为两个CU）。但与RDNA4类似，每个WGP包含四个双发射Wave32 SIMD32单元以及四个标量单元，相比CDNA4的四个单发射Wave64 SIMD16单元，这是一个巨大的变化。这意味着每个WGP每周期可执行多达256次打包FP32运算（若使用FMA则为512 FLOPS）。 [](https://substackcdn.com/image/fetch/$s_!IXQn!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F650a48c8-a0e7-487c-a6f2-b3e7213c258b_2253x541.png) 为支持这种新的SIMD设计，VGPR寄存器文件已重新组织，任何线程现在可寻址最多1024个VGPR，是之前CDNA和RDNA架构中可访问VGPR数量的四倍。每个SIMD仍拥有128kB向量寄存器（与CDNA4相同），但由于Wave32与Wave64的区别，实际可用寄存器数量翻倍（1024个），但仍少于RDNA4的192kB。这也意味着单个线程段在某些情况下预计会占满整个SIMD。 矩阵单元也得到了加强，每个矩阵单元每周期可执行最多8192次FP4运算，每个WGP有4个矩阵单元，因此每个WGP每周期可执行最多65536次矩阵运算。 [](https://substackcdn.com/image/fetch/$s_!qb_6!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd12ceaf2-f8f1-4ffc-977f-a90e802eb58b_2253x834.png) 这意味着在新架构中，只有FP4和FP8在实际中速度更快，其余性能提升来自SIMD宽度从16增加到32。 [](https://substackcdn.com/image/fetch/$s_!Vt1t!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F8e72d889-de6e-43da-b621-a92de012b9e0_1883x1242.png)Instinct MI455X 内存子系统层级 WGP间缓存也发生了变化以支持新设计。L1数据缓存和LDS容量均翻倍，分别达到64 KB和320 KB，LDS带宽也翻倍，以更好地满足CDNA5 WGP的需求。但这主要是AMD新计数方式的结果——我们不再将WGP拆分为两个CU。 每个XCD有32个活动WGP，34个物理WGP中融合掉了2个，这些WGP分为每个XCD的2个着色引擎（SE），每个SE有16个WGP。每个着色引擎配有一个“广播仲裁器”（取代RDNA4的L1缓冲区GL1），现在位于SE级别而非更低的着色器阵列级别。它既可作为写合并缓冲区，又可通过广播数据提供“最多4倍”的带宽放大。 内存子系统现在支持多播加载，通过减少冗余内存流量显著加速矩阵乘法。想象一个GEMM计算C=A×B，通常我们会让每个线程段单独将例如A操作数的一个分块加载到每个WGP的LDS中。使用多播加载，我们可以通过一条多播加载指令将A的这个分块加载到所有相关WGP中。每个线程段仍然加载不同的B分块，但MI455X可以从L2中一次性获取公共的A数据，并使用广播仲裁器将其复制到所有相关WGP的私有LDS分配中。 AMD称这最多可实现4倍带宽放大，但放大发生在L2之后，并不会使L2或HBM带宽增加四倍。相反，一单位的L2流量变成四单位的本地交付数据，减少了冗余缓存读取和芯片间链路流量，同时每个WGP附近都有一份数据副本。 转向基础芯片，AMD现在拥有一个192 MB的全局L2，分为两个Fabric缓存芯片（FCD），每个FCD有96个1 MB SRAM块。每个FCD可向该FCD上的128个WGP提供高达27 TB/s的L2带宽，聚合L2带宽高达54 TB/s。 [](https://substackcdn.com/image/fetch/$s_!XoEP!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fa8b71351-316c-4329-aaa9-4ade6f7e59af_1905x749.png) 这些FCD连接12组HBM4堆栈，每组堆栈有36 GB DRAM，总容量432 GB HBM4，每组堆栈通过2048位总线以约7.6 GT/s/pin运行，总内存带宽23.3 TB/s。 对于MI455X封装外部的任何I/O，每个FCD连接到一个I/O芯片，该芯片负责将GPU封装连接到主机CPU、扩展网络以及扩展NIC。之前由PCIe服务的CPU-GPU链路已被专用的16通道AMD Infinity Fabric取代，提供256GB/s的双向带宽，使GPU封装和主机CPU之间实现一致性链接。 谈到扩展，AMD随MI455X加速器一同推出了经过验证的机架级平台，用于大规模AI基础设施部署。这得益于MI455X扩展接口的增加，它拥有36个400Gbit/s UALoE接口，每个接口实现2个200G以太网通道，每颗GPU的峰值双向带宽为3.6 TB/s。 [](https://substackcdn.com/image/fetch/$s_!wYZU!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fba4c2d3f-11a1-4d62-bd9d-de91b8124b32_1867x1255.png) MI455X还引入了分体DMA架构，自动将流量关联到最佳链路，从而减少通信所需的拓扑感知。 Helios采用OCP的新开放式宽机架规格，机柜宽1.2米、深1.3米。GPU分为两组，每组九个计算托盘，每个托盘高度为1 OU。每个托盘包含四个MI455X和一个96核EPYC 9006 SP7处理器。每个CPU配备16个64GB DIMM（总计1TB内存）和五个E1.S SSD插槽。六个Helios交换机托盘提供总共12个交换机，每个GPU通过3条UALoE链路直接连接。每个交换机提供432个200Gb/s链路，聚合带宽为21.6TB/s。这相当于260TB/s的双向扩展带宽。 [](https://substackcdn.com/image/fetch/$s_!0uxV!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F38e7116a-6f0f-4d9d-881a-b06d033a9571_1511x1077.png) 扩展网络通过两块板卡提供，每块板卡可包含4或6个Pensando NIC（取决于终端客户所需的扩展规模），提供高达43TB/s的后端带宽。在一个机架内拥有72个GPU的情况下，Helios部署可提供高达2.9 EF（MXFP4）或22.6 PF（FP32），同时共享31TB HBM4，总内存带宽为1.7PB/s。 基本GCN微架构支撑了AMD近15年的所有计算加速器，从Tahiti开始，随后是Fiji、Vega以及前四代CDNA。随着CDNA5的推出，AMD转向基于RDNA系列的微架构，为这个长寿的GCN系列微架构画上了句号。 而随着这个句号，AMD数据中心加速器开启了新篇章——现在不仅仅关乎单个GPU，而是扩展到机架内72个GPU以及更多机架。为此，AMD几乎依赖其所有业务部门：从EPYC服务器CPU，到Pensando网络，再到Radeon部门的底层GFX12，将它们整合到AMD Helios机架中。