标签
在Hot Chips 2026上的一场演讲探讨了高带宽闪存(HBF)技术及其在机器学习领域的潜在应用,重点介绍了利用vLLM将模型权重和KV缓存存储在HBF中以提升容量的方案。
SK海力士与SanDisk发布了高带宽闪存(HBF)标准,以弥合HBM内存与SSD之间的性能差距,目标带宽高达3TB/s,容量512GB,以加速AI推理。
IEEE Spectrum报道了高带宽闪存(HBF),这是一种新型内存技术,通过使用高带宽内存(HBM)封装技术堆叠NAND闪存芯片,大幅提升读取带宽,实现对LLM模型权重的高效存储。首批产品预计约一年内推出。