Micron的内存墙图表。计算性能约每两年增长3倍，HBM带宽增长不足2倍
摘要
Hot Chips 2026上的一项内存教程突显了计算性能与HBM带宽之间日益扩大的差距，并正在实施实用的解决方案，例如三星的LPDDR5x在llama 3.1 8B上实现了3.01倍的令牌速度。
来自Raghu Sreeramaneni在Hot Chips 2026上的内存教程。顶部线条是tpu v3到r200的归一化TFLOPS，底部线条是hbm2e到hbm4，两者都是对数刻度，因此它们之间的距离实际上比看起来要宽得多。右侧的三个方框是人们实际正在构建的解决方案。内存位于计算旁边，内存通过更短的链路更接近，然后在内存内部增加单元。三星在lpddr5x中实现了最后一种方案，并在llama 3.1 8B上测得每秒3.01倍的令牌速度。完整分析（此幻灯片位于内存章节）：https://allaboutchips.com/#memory
相似文章
美光：HBM所需晶圆面积是DDR5的三倍
美光指出，高带宽存储器（HBM）相比DDR5存储器需要多占用三倍的晶圆面积。
内存计算：DRAM 即将能进行数学运算
三星在 Hot Chips 2026 上展示了具有集成计算单元的 16 GB LPDDR5X 内存包，提供 614 GB/s 内部带宽，通过克服内存带宽限制显著提升 AI 推理性能。
本地 AI 硬件内存带宽（2026 年版）
本文深入解析内存带宽作为本地 AI 硬件性能的关键指标，对比了 NVIDIA、Apple、AMD、Intel 等厂商在不同性能层级下的当前 GPU 与统一内存系统。
与美光内存副总裁兼总经理的问答
美光云内存产品副总裁兼总经理探讨了人工智能需求如何推动内存超级周期，HBM、LPDDR6和PCIe Gen 6 SSD等技术对数据中心架构变得至关重要。
Hot Chips 2026: 高带宽闪存（HBF）技术应用
在Hot Chips 2026上的一场演讲探讨了高带宽闪存（HBF）技术及其在机器学习领域的潜在应用，重点介绍了利用vLLM将模型权重和KV缓存存储在HBF中以提升容量的方案。