@akshay_pachaar: 在LLM推理中，VRAM都去哪儿了？（GPU内存的4种使用方式）加载模型只是内存故事的一部分…

LLM推理过程中，VRAM都用到哪里了？

（GPU内存的四种用途）

加载模型只是内存故事的第一部分。

一旦推理开始，GPU内存会被分配到多个组件，其中一些会随着上下文长度、批处理大小和并发请求数的增加而持续增长。

这张图将其分为四个关键部分：

→ 模型权重是相对固定的部分。模型加载后，其内存占用基本保持不变。这里最大的调整变量是精度。从FP16/BF16转为INT8或INT4可以减少存储每个参数所需的字节数。

→ KV缓存会随着生成过程而增长。对于每个先前的token，模型会存储键和值张量，以便注意力机制可以重复使用它们，而无需重新计算整个序列。更长的上下文意味着更大的KV缓存，更多的并发请求意味着内存中存在更多活跃的缓存实例。

→ 激活值与工作区保存了运行注意力机制、MLP层、内核及其他计算时所需的临时中间值。这部分内存在不同推理步骤间会被复用，但其大小仍可能随序列长度、批处理大小以及执行的内核变化而变化。

→ 运行时开销来自模型本身之外的所有部分。CUDA内核、内存分配器、元数据、服务引擎缓冲区以及其他运行时结构都会消耗一些VRAM。这部分通常比其他部分小，但绝非为零。

这就是为什么“模型能装进GPU”和“工作负载能装进GPU”是两个不同的概念。

模型可能轻松加载，但当你增加上下文窗口、同时服务更多用户或加大批处理大小时，就可能会出现内存不足的情况。

这也解释了为什么量化带来的好处不止于能容纳更大的模型。减小权重占用空间可以腾出内存，用于更大的KV缓存、更多并发请求或更大的批处理。

这也是更广泛的GPU经验教训。

性能不仅取决于GPU能执行多少运算，还取决于什么数据占据了内存、推理过程中移动了多少数据，以及这些数据能被复用的频率。

我已经撰写了关于GPU实际工作原理以及为什么内存移动是LLM推理性能核心的完整解析。

文章全文如下。