高带宽闪存为模型权重提供高效存储

# 高带宽闪存解锁海量模型存储 来源：https://spectrum.ieee.org/high-bandwidth-flash 大型语言模型 (https://spectrum.ieee.org/tag/large-language-models)\(LLMs\) 需要海量内存，而使用的人越多，所需的内存就越大。内存制造商对此的回应是加速 (https://spectrum.ieee.org/dram-shortage) 建造新内存晶圆厂的计划，重点放在高带宽内存（HBM）和 DRAM (https://spectrum.ieee.org/tag/dram) 上，其中前者计划于2027年开始生产。但内存需求也可能为新思路的立足提供契机。 其中之一是一种升级版的SD卡或 U盘 (https://spectrum.ieee.org/thumb-drive) 所用的内存——高带宽闪存（HBF）。它本质上是将让HBM成功的理念——堆叠多个芯片以增加容量和带宽——应用于通常用于数据存储 (https://spectrum.ieee.org/tag/data-storage) 的 NAND 闪存 (https://spectrum.ieee.org/tag/nand-flash-memory)，例如SD卡、U盘和智能手机 (https://spectrum.ieee.org/tag/smartphones) 等众多设备中。 “人们会问，‘这到底有什么意义？闪存慢得要命，’”半导体市场研究公司 Objective Analysis (https://objective-analysis.com/) 的总经理 Jim Handy (https://objective-analysis.com/jim-handy/) 说道。他解释说，虽然NAND闪存通常带宽不足，但HBF将有助于缓解这一问题。“（闪存）写入速度慢得离谱，但读取速度可以设法变得相当快。而高带宽闪存就是要被‘哄’着做到这一点。” ## 什么是高带宽闪存？ NAND闪存将数据以俘获电荷的形式存储在浮栅晶体管 (https://spectrum.ieee.org/tag/transistors) 阵列中，按块和页组织，而不是按单独寻址的字节。它也是非易失性的，这意味着数据在断电后仍能保持。 这些特性使闪存成为长期存储的不错选择。它在相同面积内可以比DRAM存储更多字节，而且不需要耗电的电容 (https://spectrum.ieee.org/tag/capacitors) 来持续刷新以保持电荷。但使闪存高密度且非易失的机制也导致其写入速度慢，因为将电荷推入或推出绝缘栅极比给电容充电耗时更长。 最新的闪存接口标准 (https://onfi.org/files/ONFI_6_0_Final.pdf) 可支持每die高达4.8GB/s的内存带宽。这在许多情况下已经不错，NAND广泛用于高性能长期存储，例如固态硬盘。然而，DDR5提供每DIMM高达70.4GB/s的带宽（不包括超频内存），而HBM4E 可达到 (https://news.samsung.com/global/samsung-electronics-begins-shipment-of-industry-first-hbm4e-samples) 每堆叠高达3.6TB/s——HBM4E相比闪存拥有约750倍的带宽优势。 SK海力士 (https://www.skhynix.com/) 内存系统研究高级副总裁 Hoshik Kim (https://www.linkedin.com/in/hoshikk/) 表示，HBF通过类似于HBM的封装技术来提升带宽。“通过将先进的 3D 封装 (https://spectrum.ieee.org/tag/3d-packaging) 和垂直堆叠技术应用于NAND闪存，HBF可以提供比标准NVMe存储高得多的带宽，”他说。就像HBM堆叠DRAM一样，HBF堆叠NAND闪存die以创建高密度内存芯片。 HBF距离出货至少还有一年时间，但闪存 (https://spectrum.ieee.org/tag/flash-memory) 制造商 SanDisk (https://www.sandisk.com/) 已发布 (https://documents.sandisk.com/content/dam/asset-library/en_us/assets/public/sandisk/collateral/company/Sandisk-HBF-Fact-Sheet.pdf) 其预期第一代产品的规格表。该公司预计HBF将堆叠多达16个NAND闪存芯片，每堆叠总容量高达512GB。它还预计内存读取带宽高达1.6TB/s。SanDisk的HBF路线图还规划了第二代和第三代产品，预期读取带宽分别为2TB/s和3.2TB/s。 ## HBF的目的是什么？ 尽管HBF有可能提供比早期闪存版本高得多的带宽，但你可能注意到一个问题：它仍然比高性能 GPU (https://spectrum.ieee.org/tag/gpus) 中使用的HBM慢得多。那么，HBF为什么还有前景？ 答案在于AI训练（教LLM预测token）和AI推理（服务已完成的模型）之间的关键区别。 模型训练的过程是：向模型输入token，观察模型预测结果，检查预测是否正确，然后通过一个称为反向传播的步骤根据误差调整权重。虽然这个过程总结起来很简单，但它涉及数十亿或数万亿模型权重的计算。这意味着训练既是数据读取密集型，也是写入密集型，这使闪存不太适合。 然而，AI推理则不同。模型权重被固定且实际上是只读的，这意味着闪存较差的写入带宽不再成为障碍。“在推理环境中，大规模、读取密集型的数据（例如静态的数十亿参数模型权重或预计算KV缓存）可以安全地存放在HBF层级中，”Kim说道。这将释放HBM，使其作为“高速暂存内存”工作。 Handy表示，这是针对推理工作负载使用闪存的一种合理方式。“如果设置得当，你可以从中获得非常出色的性能——这就是基本的缓存技术。这是我预期会有所发展的技术之一。” ## HBF下一步是什么？ 尽管有潜力，HBF仍处于早期开发阶段，可能还需要几年才能广泛部署。 2026年2月25日，SanDisk (https://spectrum.ieee.org/tag/sandisk) 和 SK海力士 (https://spectrum.ieee.org/tag/sk-hynix) 举办了一场启动活动，联合在开放计算项目 (https://www.opencompute.org/) (OCP) 下设立专门工作组来推动HBF标准化——这与管理许多数据中心硬件规范的开放行业组织属于同一类型。标准化工作正在进行中，但尚未确定标准发布的时间表。 内存制造商——尤其是SK海力士 (https://spectrum.ieee.org/tag/hynix) ——推出HBF作为HBM的廉价替代品，这可能看起来有些奇怪。毕竟，HBM是利润率更高的产品，目前正推动SK海力士创下营收纪录。 然而，Kim将HBF定位为互补工具而非竞争技术。“通过缓解HBM严重的容量瓶颈而不牺牲数据传输速度，HBF有潜力减少运行大规模模型所需的独立加速器数量，”他说。Kim预计这将提高能效 (https://spectrum.ieee.org/tag/energy-efficiency) 并降低成本，使数据中心 (https://spectrum.ieee.org/tag/data-centers) 能够进一步扩展其AI推理硬件。