@Alacritic_Super: LLM推理的最大瓶颈不是算术运算，而是数据移动。一次乘加运算仅需…

X AI KOLs Timeline 新闻
llm-inference memory-bandwidth quantization kv-cache gpu-optimization flash-attention performance

摘要

一条科普线程，解释LLM推理的主要瓶颈是数据移动而非计算，并强调了量化、KV缓存优化和FlashAttention等减少内存流量技术的要点。

LLM推理的最大瓶颈不是算术运算，而是数据移动。 一次乘加运算的成本非常低： FP32：约3–5皮焦 FP16：约1–2皮焦 INT8：约0.2–0.5皮焦 但从内存中获取数据的成本往往要高得多： L1缓存：约1–5皮焦 L2缓存：约10–30皮焦 HBM / 片外DRAM：约300–1000皮焦 为什么这很重要？ 在推理过程中，GPU会反复加载： 模型权重 激活值 KV缓存 中间张量 在许多工作负载中，搬运这些字节消耗的能量和耗时往往超过矩阵乘法本身。 这就是为什么现代推理框架专注于减少内存流量： 量化（FP8、INT8、INT4） KV缓存优化 PagedAttention FlashAttention 前缀与提示缓存 内核融合 算子融合 内存感知调度 权重压缩 这也是为什么GPU继续大力投资于： 更大的片上SRAM 更高的HBM带宽 更智能的缓存层次结构 更快的互连（NVLink、NVSwitch）
查看原文
查看缓存全文

缓存时间: 2026/07/15 19:59

LLM推理的最大瓶颈并非算术运算，而是数据传输。

一次乘加运算的成本非常低：

FP32：约3–5皮焦耳
FP16：约1–2皮焦耳
INT8：约0.2–0.5皮焦耳

但内存中提取数据的成本通常要高得多：

L1缓存：约1–5皮焦耳
L2缓存：约10–30皮焦耳
HBM / 片外DRAM：约300–1000皮焦耳

这为什么重要？

在推理过程中，GPU会反复加载： 模型权重
激活值
KV缓存
中间张量

在许多工作负载中，传输这些字节所消耗的能量和耗时往往超过矩阵乘法本身。

正因如此，现代推理框架专注于减少内存流量：

量化（FP8、INT8、INT4）
KV缓存优化
PagedAttention
FlashAttention
前缀和提示缓存
核融合
算子融合
内存感知调度
权重压缩

这也是GPU持续大力投资以下技术的原因： 更大的片上SRAM
更高的HBM带宽
更智能的缓存层级
更快的互连（NVLink、NVSwitch）

相似文章

内存

Reddit r/artificial

解释了为什么由于KV缓存随上下文长度和并发用户数扩展，LLM推理越来越受内存带宽限制，以及像vLLM和PagedAttention这样的系统如何提高内存利用率。