标签
Hot Chips 2026上的一项内存教程突显了计算性能与HBM带宽之间日益扩大的差距，并正在实施实用的解决方案，例如三星的LPDDR5x在llama 3.1 8B上实现了3.01倍的令牌速度。
一篇关于AI推理硬件的分析，比较了Taalas和Groq将模型权重蚀刻到硅片上的方法，并注意到英伟达和AMD近期进行的投资。
文章深度拆解了CXL技术如何打破AI内存墙，分析了从训练到推理阶段的内存瓶颈以及CXL在数据中心的应用前景。