@rohanpaul_ai:Marvell 的 Dave Lazovsky 手持一个微小模块,利用光子技术将高带宽内存(HBM + DDR)传输到……
摘要
Marvell 发布了一款光子模块,可让 HBM 和 DDR 内存与 GPU 相距最远达 50 米,同时将延迟保持在数百纳秒级别,从而在 AI 集群中实现内存与计算的解耦扩展。
查看缓存全文
缓存时间: 2026/10/20 09:31
Marvell 的 Dave Lazovsky 正在展示一个微型模块,该模块利用光子技术将高带宽内存(HBM + DDR)传输到距离 GPU 远达 50 米的位置。
该模块可以放置在距 GPU 最远 50 米处,而通常距离仅为 1.5 毫米。
内存首次不必紧邻计算单元,这使得 AI 集群可以共享海量容量,而不再受限于加速器封装。
延迟保持在数百纳秒的范围内,对于实际内存使用而言已经足够接近。基本上,内存和计算现在可以沿各自的维度独立扩展,而不再被绑定在一起。https://x.com/MarvellTech/status/2112227641759871266/video/1…
相似文章
@SKhynix:认识一下CMM-Ax,这是@SKhynix与Marvell Technology共同开发的基于ASIC的CXL-PNM解决方案。旨在克服内存瓶…
SK海力士推出CMM-Ax,这是与Marvell Technology共同开发的基于ASIC的CXL-PNM解决方案,旨在克服长上下文LLM推理中的内存瓶颈,吞吐量比仅使用GPU的系统最高提升5.5倍。
Micron的内存墙图表。计算性能约每两年增长3倍,HBM带宽增长不足2倍
Hot Chips 2026上的一项内存教程突显了计算性能与HBM带宽之间日益扩大的差距,并正在实施实用的解决方案,例如三星的LPDDR5x在llama 3.1 8B上实现了3.01倍的令牌速度。
@rohanpaul_ai:Cerebras 联合创始人兼 CEO Andrew Feldman 给出了关于为什么 Cerebras 晶圆级架构在 LLM 解码阶段速度快约 2,500 倍的最清晰解释……
Cerebras 联合创始人兼 CEO Andrew Feldman 解释了为什么公司的晶圆级架构在 LLM 解码阶段,内存到计算的数据搬运速度比 GPU 快约 2,500 倍,原因在于 Cerebras 将模型权重保留在片上 SRAM 中,而不是 HBM。
内存计算:DRAM 即将能进行数学运算
三星在 Hot Chips 2026 上展示了具有集成计算单元的 16 GB LPDDR5X 内存包,提供 614 GB/s 内部带宽,通过克服内存带宽限制显著提升 AI 推理性能。
@rohanpaul_ai: Nvidia发布了其与Lambda合作的光子共封装光学(CPO)交换机的视频。AI竞赛不仅仅是关于……
Nvidia推出了与Lambda合作的光子共封装光学交换机,旨在减少大型GPU集群在AI工作负载中的功耗和故障点。