标签
D-Matrix 在 Hot Chips 2026 上展示了其 Raptor 3D-DRAM 加速器,该加速器通过直接将计算单元堆叠在 DRAM 晶圆上,解决了生成式 AI 推断中的内存容量和带宽挑战。
Hot Chips 2026上的一项内存教程突显了计算性能与HBM带宽之间日益扩大的差距,并正在实施实用的解决方案,例如三星的LPDDR5x在llama 3.1 8B上实现了3.01倍的令牌速度。
在Hot Chips 2026上,三星展示了在将HBM基板芯片升级至逻辑节点后,利用其闲置区域的机遇,包括集成存储器控制器以优化PHY面积和功耗等阶段。
在Hot Chips 2026上的一场演讲探讨了高带宽闪存(HBF)技术及其在机器学习领域的潜在应用,重点介绍了利用vLLM将模型权重和KV缓存存储在HBF中以提升容量的方案。