@Kay2289123: https://x.com/Kay2289123/status/2077279581497860514
摘要
文章深度拆解了CXL技术如何打破AI内存墙,分析了从训练到推理阶段的内存瓶颈以及CXL在数据中心的应用前景。
查看缓存全文
缓存时间: 2026/07/15 13:55
Memory as a Service, 聪明钱已经开始暗中下注。耗时两周,深度拆解CXL,彻底搞懂打破内存墙的关键玩家
我base 在硅谷,在一线大厂带领AI 推理团队。我们的目标是从硅谷一线视角,顺着 AI 瓶颈寻找下一个投资机会。这篇文章走访了英伟达、Marvell、Astera Labs Inc的核心工程师,带大家拆解硅谷最近很火的CXL
瓶颈在哪里, 赚钱机会就在哪里, 近期是见证存储风向的关键时期。这篇承接上文,继续拆解打破内存墙的重要路径,也是争议最大的一条:CXL。看完后你会彻底心中有数
美研芒格君@Kay2289123·Jul 2这篇文章跑断了双腿,用尽人脉,走访了十余家硅谷一线做光模块、互联、存储的公司,和一线 Manger, RD 深入交流,陆陆续续写了 4 周。相信是你在别的地方看不到的
我不仅聊,也跟着真金白银地下注。口说无凭,截图奉上。
请注意,大家不要盲目跟单,评论区冒充我的都是骗子。我在WhatsAppShow moreQuote美研芒格君@Kay2289123·Jun 30 Article耗时 50 小时, 深度拆解 HBM内存为王的背后 — 硅谷6条解决内存短缺的技术路线,这次别错过了这篇文章写了陆陆续续两周,耗时 50 个小时,为了带给你最前沿、最真实的价值投资机会。 我们在硅谷走访了英伟达、美光科技、英特尔、SNDK…25195867526K
1994 年 12 月,弗吉尼亚大学的 William Wulf 和 Sally McKee 写了一篇只有几页的论文,题目叫 《Hitting the Memory Wall》。它后来在 1995 年 3 月正式发表。
那时还没有 ChatGPT,也没有今天这种由许多服务器组成、动辄使用几万张 AI 计算芯片(GPU)的集群。两位作者担心的是一件更基础的事:处理器越来越快,内存却没有以同样速度进步。长此以往,芯片会把大量时间花在“等数据”上。计算能力再强,整台机器也跑不快。
他们把这堵看不见的墙叫作 Memory Wall,也就是内存墙。
三十年后,经典内存墙仍然存在:芯片依旧会因为等数据而停下来。AI 又在它旁边加了一堵新墙:需要保存的数据越来越多,最快的内存既贵又装不下。
Meta 在 ISCA 2026(计算机体系结构顶会)上发表《Vistara: Making CXL Real》,Meta 服务器整机寿命 3–5 年,但内存能用 7–10 年;而它约 40% 的机队没法再加内存——所以才去「捡」退役 DDR4,使用的就是 CXL
我上一篇写了行业绕过内存墙的几条路线。这一篇只讲其中争议最大的一条:CXL。
2024 年,它一度被判定“不适合 AI”。今天,Meta、微软和一批芯片公司却开始把真实程序、产品和收购资金压到这条路上。
一、先别背缩写:把这些名词放回一台服务器
如果这些名词对你来说都是第一次见,先看它们在机器里的位置。服务器可以理解为数据中心里的一台高性能电脑,里面有负责计算的芯片,也有负责临时保存数据的内存。
CPU 是通用处理器,负责运行操作系统、安排任务,也处理各种日常计算。
GPU 原本用来处理图形,如今很擅长同时完成大量相似计算,所以成为训练和运行 AI 模型的主力芯片。
DRAM 是一种内存技术。我们常说的 DDR4、DDR5,就是它的不同代际,类似同一类产品的上一代和新一代。
主机内存 说的不是另一种材料,而是位置和用途:它通常指安装在 CPU 旁边、供整台服务器使用的 DDR/DRAM。也就是说,DRAM 回答“它是什么”,主机内存回答“它装在哪里、主要给谁用”。
HBM 的全称是高带宽内存。它本质上也属于 DRAM,但采用更紧凑的堆叠方式,放在 GPU 身边。它每秒能送出更多数据,所以很快,也很贵。这里的“带宽”,可以简单理解为一秒钟能搬多少数据。
PCIe 是服务器里常见的高速连接。GPU、网卡(让服务器接入网络的设备)和 SSD(用来长期保存数据的固态硬盘),都可以通过它与 CPU 交换数据。
CXL 不是一种新内存,而是一套建立在 PCIe 之上的通信规则。中间的 CXL 控制器负责翻译两边的指令,让 CPU 能用接近本机内存的方式读写外接 DRAM。
Fabric 原意是“织物”。在这里,它指很多 CXL 连接和交换机织成的一张网络。交换机就像数据通路的路口,多台服务器通过它们连接一组共享内存,就不必让每台机器都提前装满内存。
后文还会出现 链路、互连和专用通道。这几个词都在说设备之间传送数据的路径。“专用”表示它主要服务某类设备或任务,例如 NVLink 主要让 GPU 之间高速交换数据;CXL 解决的是外部内存怎样接入服务器。两者不是同一条路。
如果把 PCIe 看作已经铺好的道路,CXL 就是让“内存数据”可以在这条路上通行的一套规则;CXL Fabric 则是道路、路口和调度系统连成的一张网。
这张图还有一条很重要的边界:目前公开落地的 CXL 产品,大多先扩展 CPU 一侧的主机内存,并不等于直接给 GPU 身边的 HBM 扩容。
从速度和容量看,一台 AI 服务器里的数据通常会被分层:最常读取、最怕等待的数据放在 HBM;其次是 CPU 旁边的本地 DRAM;不必立刻读取的数据可以放进 CXL 接入的外部 DRAM;很少使用的数据才会落到 SSD。
如果只记一句话,可以这样理解:HBM 主要追求快,CXL 主要追求多和省。 不是所有数据都要一直占着最贵、最快的位置。
二、内存墙,正在变成一张越来越贵的账单
AI 有两个主要阶段。训练,是把大量资料喂给模型,让它学会规律;推理,是模型学成以后,开始回答用户的问题。
训练时,GPU 之间要持续高速交换数据,速度最重要。到了推理阶段,容量开始变得同样重要。
模型为了记住刚才聊过什么,会在内存里保存一份临时笔记,这就是 KV cache。对话越长、同时服务的人越多,这份笔记就越大。具体大小取决于模型、上下文长度和同时处理的请求数;多条长对话一起运行时,占用几十 GB 并不罕见。GB 是容量单位,1 TB 大约等于 1,000 GB。
最常访问的内容仍然要放在 HBM。但已经看过、短期内不常使用、之后又可能被叫回来的内容,需要一个容量更大、成本更低的位置。
所以,今天的 AI 同时面对两种内存压力:数据送得不够快,以及容量不够、成本太高。
SemiAnalysis 的估算称,hyperscaler,也就是建设超大规模数据中心的云厂商整体,内存支出在 2023 至 2024 年约占资本开支的 8%,到 2026 年可能接近 30%。这里的资本开支,就是它们建设数据中心、购买服务器和芯片的钱。
这不是各家公司按同一口径披露的精确预算,只能当作方向参考。但从 8% 到 30%,足以说明内存已经从服务器中的一个部件,变成管理层必须单独盯住的大额支出。相信各位在 $MU $SNDK 就能看出来
另一组数字来自微软 Azure。
CPU 内部有许多可以同时执行任务的计算单元,这些单元叫作 CPU 核心。如果一台云服务器的核心先被客户租完,剩余内存即使闲着,也不能自动挪给另一台服务器。微软追踪 100 个通用生产集群、共 75 天的数据后发现,在个别高利用率集群中,被困在原服务器里的 DRAM 比例超过 30%。论文的成本模型还假设,DRAM 约占未采用内存池的服务器总成本一半。
这两个数字不能直接相加。超过 30% 是少数异常点观察到的闲置比例;50% 是论文为了计算成本采用的模型假设。它们共同说明了一个现实问题:一种很贵的部件,可能同时有相当一部分无法被别的机器使用。
内存便宜时,这种浪费还能忍。内存又贵又缺时,让几台服务器共享一组内存,以及回收旧内存,就有了经济意义。
三、CXL 当年为什么会被“判死刑”
2024 年唱空 CXL,并不荒唐。2026 年,你该重新重视起来
当时 AI 基础设施的中心任务是训练大模型。成千上万张 GPU 必须持续交换数据,任何一段连接变慢,整组机器都可能停下来等。
买方最关心的是 GPU 之间的极限速度。英伟达 NVLink 这样的 GPU 专用连接,以及 InfiniBand、高速以太网这类数据中心网络,都在解决这类问题。CXL 做的却是把外部内存接进服务器,它并不是为 GPU 之间的最高带宽而生。
2024 年 3 月,SemiAnalysis 直接写下《CXL Is Dead in the AI Era》。它当时认为,芯片能够接出多少高速通道、能给这些通道分配多少电力,都是有限的。如果这些资源优先给 NVLink 等更快的 GPU 连接,留给 CXL 的空间就会变少。
更现实的问题是,整套配套也没准备好。CPU 能识别 CXL 还不够;安装芯片的主板、开机时运行的软件、操作系统和 CXL 内存卡必须彼此兼容。卖方很积极,真正掏钱建设 AI 集群的买方却不急。
所以,当时真正的问题是:CXL 能不能成为 GPU 之间、服务器之间的主要数据通道。到今天,答案仍然是否定的。CXL 的任务是扩展内存,不是取代 GPU 高速连接。
四、它不是突然翻案,而是终于遇到适合自己的问题
CXL 重新回到视野,背后有三处变化。
第一处变化:AI 从集中训练走向持续推理
训练更看重速度。推理除了速度,还要计算每次回答占用多少内存、能同时服务多少用户,以及每次回答的成本。
CXL 外接内存比 HBM 慢,但通常比 SSD 快得多,而且 CPU 可以按内存方式读写。只要软件能分清哪些数据急着用、哪些可以晚一点取,它就能把后一类数据放到 CXL 内存中。
目前公开部署主要扩展 CPU 的主机内存。KV cache 能否从 HBM 移到 CXL,还取决于 GPU 如何访问这部分内存,以及软件能否自动安排数据位置。插上一张 CXL 卡,并不会自动完成这些工作。
第二处变化:旧内存开始值得被重新利用
目前公开资料中,Meta 的 Vistara 提供了最完整的一组生产部署数据。
Meta 没有发明新的内存。它把退役服务器里的 DDR4 拆下来,通过自研 CXL 芯片接到使用新一代 DDR5 的服务器上。操作系统再负责判断:频繁访问的数据留在本地 DDR5,不常访问的数据放到外接 DDR4。
按 Meta 的 Vistara 论文,公司约 40% 的服务器会先碰到内存容量上限;在论文采用的全生命周期模型中,DRAM 内存条占服务器各部件碳排放的 69%;内存条通常能用 7 到 10 年,而服务器大约 3 到 5 年就会更新。
这意味着,服务器退役时,里面的内存往往还没有到寿命终点。
Vistara 已进入 Meta 的生产系统,用于 AI 推理、数据处理、数据库和软件编译测试。在部分把计算与内存分开部署的 AI 服务中,它最多减少 25% 的服务器。在分布式缓存场景中,因为更多数据可以留在本机,不必通过网络去其他服务器读取,平均访问延迟反而降低了 29%。
这里要说清楚:论文称 Vistara 进入了一个拥有数百万台服务器的基础设施,并不是说 Meta 已经部署了数百万台 Vistara。
代价也写在论文里。在 Meta 这套配置中,CXL 扩展内存的带宽约为本地内存的十分之一,访问一次数据要等待的时间高约 60%,多出约 150 纳秒。(纳秒是十亿分之一秒,在芯片世界里已经足以拉开明显差距)。这不是所有 CXL 产品的固定表现,但说明 CXL 内存不能随便放数据。Meta 只把不急着读取的内容放进去,把常用数据继续留在本地内存。
Vistara 难在芯片和软件必须一起做。软件要持续判断哪些数据常用、哪些数据暂时不用,再把它们放到合适的位置。不适合的程序,系统就直接关闭外接内存。
幸运的是,如果你了解最近软件的动向,你会发现各家厂商都在朝着 KV cache offload 发力,我本人从事 AI 推理,这点看的很清楚。
第三处变化:底层连接变快,买方开始测试
2025 年 11 月,微软把采用 CXL 内存的 M-series 云服务器放入定向预览,只向部分客户开放测试。Astera Labs 的 Leo CXL 2.0 控制器单颗最多可以连接 2 TB 内存,官方称可把服务器内存容量提高到原来的 1.5 倍以上。
这还不是全面商用,但已经从“听产品介绍”走到“让客户把真实程序放上去跑”。Azure 与 Astera 的定向预览 说明 CXL 已从实验室测试进入客户验证,距离全面开放仍有一段路。
同月,CXL 4.0 规范正式发布,把每条通道的最高信号传输速率从每秒 640 亿次提高到 1,280 亿次,也就是从 64 GT/s 提高到 128 GT/s。新规范还允许把多个端口组合使用,并加强内存的纠错和故障处理。标准升级不代表收入马上出现,但至少说明处理器厂商、云厂商和芯片公司仍在投入兼容工作。
五、CXL 会先变成什么生意
CXL 的愿景很大,但商业化不会一步到位。
直连扩容:先给一台服务器加内存
一台服务器接上一张 CXL 内存卡,就能绕过服务器内部有限的内存条插槽,继续增加容量。目前公开可见的部署和产品,主要集中在这一层。
内存池化:让几台服务器共用一组内存
多台服务器通过 CXL 交换机连接一组外部内存。交换机可以理解为数据通路的路口,软件则决定哪台机器在什么时候拿多少容量。
微软的研究认为,小规模池化可以减少相当一部分 DRAM 浪费;但池子越大,连接层级、等待时间和硬件成本也会上升。共享并不是免费午餐。
CXL Fabric:把共享范围拉到更多机架
机架是数据中心里摆放多台服务器的柜子。当多个机架中的服务器、交换机和内存池连成一张更大的 CXL 网络,就进入 Fabric 阶段。内存不再固定属于某一台机器,而可以在更大范围内分配。
目前最稳妥的判断是:直连扩容已经出现生产部署,Meta Vistara 是明确案例;池化正在验证,跨机架 Fabric 仍是远期方向。
六、CXL 不会替代 HBM,也不会替代 NVLink
很多人一听 CXL 重新受到关注,马上问:HBM 会不会被替代?
我的答案是:不会,至少这不是 CXL 当前的任务。
HBM 位于 GPU 身边,负责最常被读取、最怕等待的数据。CXL 目前更适合扩展 CPU 一侧的容量,存放对等待时间不那么敏感的数据。两者不是同一种产品,也不在同一个位置。
如果未来的平台能稳定地把部分 KV cache 等不急着读取的数据,从 HBM 移到较慢、较便宜的内存层,新增推理业务对 HBM 的需求可能不会与推理总量同步增长。但这仍是推论;现有商业数据还没有证明 CXL 会明显削弱 HBM 需求。推理总量继续扩大时,两者完全可能一起增长。
NVLink 的边界也很清楚。它负责 GPU 之间的高速数据交换;CXL 负责外部内存如何接入、扩容和共享。
所以我不会问“CXL 能不能打败 HBM”。更准确的问题是:哪些数据必须留在 HBM,哪些数据可以放到更便宜的内存层。
七、这条链上的钱,会按什么顺序出现
目前更接近商业化的是 CXL 控制器,但厂商普遍没有单独披露这部分收入。
Astera Labs 的 Leo、Marvell 的 Structera X、澜起科技的 MXC,都在做这颗“翻译芯片”。每张扩展卡都需要它,速度、稳定性、压缩能力和平台兼容也会拉开产品差异。因此,控制器比单纯组装内存条更有机会保留利润。
下一层是 CXL 内存模组。三星的 CMM-D、美光的 CZ120、SK 海力士的 CXL 模组,都是把控制器和 DRAM 做成可插入服务器的产品。对内存厂来说,这是新的 DRAM 出货入口,但未必自动变成全新的高利润市场。
当直连走向池化,CXL 交换机 开始重要。它把多台服务器和多组内存连起来,还要处理访问顺序、故障和不同客户之间的隔离。这个市场仍早,验证周期也会比单机扩容更长。
硬件接上以后,还要有 软件 判断数据该放在哪里。热数据放错位置,省下来的内存成本可能很快被速度损失吃掉。Meta 能自己设计芯片、修改 Linux 操作系统,大多数企业做不到,所以它们还需要数据分层、内存分配和监控工具。
再往后才是 光互连。
CXL 的速度越高,电信号通过铜线时越容易衰减。在服务器内部和机柜附近,铜仍然简单、便宜;如果内存池要跨过多个机架,距离、功耗和布线空间会逼着系统考虑用光纤传输。
公开演示已经把这类光连接从约 20 米 拉到 100 米,但两次演示的规格并不相同。它们证明技术可以工作,还没有证明客户会大规模采购。
所以,用于 PCIe/CXL 的光连接今天仍处在演示和工程准备阶段,还不是成熟订单。
八、为什么我要把 Marvell 单独拎出来
Marvell 尚未单独披露 CXL 业务收入,但它已经在直连扩容、池化交换和远期光互连上做了布局。
Marvell 在单机扩容层的核心产品是 Structera X 2404。
这颗 CXL 2.0 内存扩展控制器 最多支持 12 根 DDR4 内存条,并带硬件压缩,可以直接在芯片中把部分数据压小,提高同样容量下的实际可用空间。它瞄准的正是旧 DDR4 再利用:服务器退役后,内存不必同时退出数据中心。这款产品主打的价值,是让客户少买一部分新的 DRAM。
池化这一层,Marvell 通过收购 XConn 补上交换机。
Marvell 于 2026 年 2 月 10 日完成收购,交易在宣布时估值约 5.4 亿美元。XConn 已有产品进入生产,下一代产品当时处于送样阶段,也就是把样品交给客户测试。
Marvell 预计 XConn 在 2027 财年第三季度开始贡献收入,第四季度达到约 5,000 万美元年化收入,也就是按当季收入速度折算成全年;2028 财年约 1 亿美元。这里的“财年”按 Marvell 自己的会计日历计算,并不等同于同名自然年。这些都是管理层预期,不是已经实现的收入。
Marvell 随后推出的 Structera S 30260 提供 260 条高速通道,可以同时接入更多服务器和内存设备,目标是连接更大规模的内存池。截至本文撰写时,产品仍计划在 2026 年第三季度送样。送样、量产和形成可识别收入,是三件不同的事。
最远的一层是 Celestial AI。
2025 年 12 月公告交易时,Marvell 给出的前期对价估值约为 32.5 亿美元;如果 Celestial AI 未来达到约定的收入目标,还可能再支付最多 22.5 亿美元。Celestial AI 用光来传输芯片之间的数据,目前首先服务 AI 集群内部的高速连接;把这项技术用于远端内存池,仍是未来设想。
因此,Celestial AI 目前还不是成熟的“光学 CXL 产品”。Marvell 此时收购它,是先把跨机架光连接的技术能力买下来,等待未来需求出现。
Marvell 给出的目标同样激进:Celestial 相关业务在 2028 财年第四季度达到 5 亿美元年化收入,2029 财年第四季度达到 10 亿美元年化收入。这是公司目标,不是锁定订单。
图里的三层并不处在同一成熟度:Structera X 是当前产品;XConn 已有在产交换机,Structera S 仍计划送样;Celestial AI 则是更远期的光连接能力。
Marvell 不是最纯的 CXL 标的。Astera Labs 更集中在控制器;Rambus 把芯片中的 CXL 接口模块设计好,再授权给其他芯片公司;内存厂则通过模组销售更多 DRAM。Marvell 的不同之处,是同时拥有控制器和交换机,并通过 Celestial AI 保留了远期光连接能力。
Marvell 2027 财年第一季度 收入为 24.18 亿美元,同比增长 28%;数据中心收入为 18.33 亿美元,占总收入 76%。但官方所说的“数据中心收入”还包括以太网、存储、通用服务器和数据中心之间的连接,不能全部算成 AI,更不能算成 CXL。
我接下来主要看 Structera X 能否先从单机扩容获得收入,以及 XConn 是否会按公司指引完成客户验证。
九、接下来的瓶颈,是整套系统能不能一起工作
CXL 最容易被讲成“插一张卡,内存就能无限扩容”。现实没有这么简单。
CPU 能识别 CXL,只代表硬件有了入口。主板、启动软件、操作系统和管理工具都要配合,上面运行的程序也必须能承受额外等待时间。
池化以后,系统还要决定哪台服务器拿多少内存,并保证一台机器出故障时不会拖累其他机器。跨机架以后,光连接能否长期稳定运行,又要重新验证。
所以,接下来我只看三件事:Azure 会不会把 CXL 云服务器从定向测试推向全面开放;交换机能不能从送样走到客户采购并形成收入;光连接能不能离开演示台,在跨机架环境中长期稳定运行。
在这些信号出现之前,我会把 CXL 分成两部分看。单机直连扩容已经有真实部署;内存池化和跨机架 Fabric 仍要等待客户验证。
它目前的用途很具体:HBM 继续处理 GPU 身边最常用的数据,CXL 把容量更大、价格更低的 DRAM 接进服务器。控制器已经最先进入市场,交换机、软件和光连接还要随着共享范围扩大,一步步证明自己。Marvell 的布局,也是在押这个顺序。
两年前,市场说 CXL 在 AI 时代没有位置。现在更合适的判断是:它不会接管 GPU 高速互连,却已经找到扩展主机内存的用途。 接下来,订单和长期使用数据会告诉我们,这个用途究竟能长成多大的生意。
毋庸置疑,存储下一步怎么走,直接决定了我们的投资机会,后续我会继续拆解这条主线,同时继续拆解其他打破内存墙的方式
资料与延伸阅读
-
Wulf 与 McKee:Hitting the Memory Wall
-
Meta:Vistara,从芯片、操作系统到超大规模部署
-
Microsoft Azure:CXL 内存池的设计取舍
-
Astera Labs:Azure M-series CXL 内存定向预览
-
CXL Consortium:CXL 4.0 规范
-
Marvell:Structera X 内存扩展控制器
-
Marvell:完成收购 XConn
-
Marvell:Structera S 30260 CXL 交换机
-
Marvell:收购 Celestial AI
免责声明:本文是个人行业研究与科技科普,不构成任何投资建议。文中市场估算、公司指引和产品路线来自撰稿时的公开资料,后续都可能变化。
相似文章
@snowboat84: https://x.com/snowboat84/status/2065215177029787705
本文是AI工程全景系列的中篇,详细介绍了推理优化、模型瘦身(量化、蒸馏、剪枝、MoE)和投机解码等核心技术,综述了从硬件到工程栈的最新进展。
@AYi_AInotes: https://x.com/AYi_AInotes/status/2066865618104586525
这是一篇对OpenAI Codex的全景分析文章,详细介绍了其架构(五个入口)、三层可扩展能力(MCP、Skills、Plugins)、与Claude Code、Cursor、Devin的横评对比,以及七条可直接采纳的最佳实践。
@snowboat84: https://x.com/snowboat84/status/2061962883651731602
本文是AI工程全景系列的上篇,从历史角度梳理了GPU从游戏显卡到AI加速器的演化、CUDA的豪赌、谷歌TPU的独立路径,以及英伟达为何最终胜出,详细剖析了芯片、供应链、网络、电力等AI基础设施的底层逻辑。
@RealCodedAlpha: https://x.com/RealCodedAlpha/status/2064921935507837260
一篇关于OpenAI Codex精通教程的深度文章,涵盖从思维模型到实际应用(如大规模代码迁移、安全审计、性能优化、团队协作、构建个人AI操作系统和产品开发)的完整知识体系。
@seclink: https://x.com/seclink/status/2056711091129118741
黄仁勋深度访谈,回顾英伟达从赌上公司存亡推出CUDA到成为AI霸主的历史,阐述AI四个缩放定律和未来十年发展方向,强调算力瓶颈和极致协同设计理念。