面向高效大语言模型服务：系统感知KV缓存优化综述

# 面向高效大语言模型服务的系统感知 KV 缓存优化综述  
**来源**: https://arxiv.org/html/2607.08057  
Jiantong Jiang¹, Peiyu Yang¹, Rui Zhang², Feng Liu¹  
¹ 墨尔本大学计算与信息系统学院  
² 华中科技大学计算机科学与技术学院 (www\.ruizhang\.info)  
\{jiantong\.jiang, peiyu\.yang\}@unimelb\.edu\.au  
rayteam@yeah\.net, fengliu\.ml@gmail\.com  
[![[未标注图片]](https://arxiv.org/html/2607.08057v1/figs/github-mark.png)https://github\.com/jjiantong/Awesome\-KV\-Cache\-Optimization](https://github.com/jjiantong/Awesome-KV-Cache-Optimization)  

###### 摘要  
尽管大语言模型 (LLM) 发展迅速，但 LLM 服务系统仍存在内存密集且成本高昂的问题。在自回归解码过程中存储 KV 张量的键值 (KV) 缓存，对于实现低延迟、高吞吐量的 LLM 推理服务至关重要。在本综述中，我们聚焦于**用于服务 LLM 的系统感知 KV 基础设施**（简称 sKis）。我们从系统行为的角度重新审视近期工作，将现有研究归纳为三个维度：执行与调度（时间维度）、放置与迁移（空间维度），以及表示与保留（结构维度）。此外，我们分析了跨行为协同设计亲和性以及行为-目标关联，揭示了未来的研究机遇。本文系统化了这一快速发展的领域，为理解与创新现代 LLM 服务基础设施中的 KV 缓存设计奠定了基础。  

---

## 1 引言  
大语言模型 (LLM) 在多种应用中展现出卓越能力 (Zhao 等人, 2023) (https://arxiv.org/html/2607.08057#bib.bib2)，著名例子包括 GPT (Radford 等人, 2018 (https://arxiv.org/html/2607.08057#bib.bib16), 2019 (https://arxiv.org/html/2607.08057#bib.bib17); Brown 等人, 2020 (https://arxiv.org/html/2607.08057#bib.bib18); OpenAI, 2023 (https://arxiv.org/html/2607.08057#bib.bib19))、LLaMA (Touvron 等人, 2023a (https://arxiv.org/html/2607.08057#bib.bib20), b (https://arxiv.org/html/2607.08057#bib.bib21)) 以及 OPT (Zhang 等人, 2022 (https://arxiv.org/html/2607.08057#bib.bib22))。这些模型擅长大规模高质量的语言理解与生成，其扩展版本也支持多种多模态生成任务 (Zhang 等人, 2025d (https://arxiv.org/html/2607.08057#bib.bib193); Zhang 和 Bian, 2025 (https://arxiv.org/html/2607.08057#bib.bib194))。这些能力主要基于 Transformer 架构 (Vaswani 等人, 2017 (https://arxiv.org/html/2607.08057#bib.bib15))，该架构通过自注意力有效捕获长距离依赖。尽管取得了成功，高效地服务 LLM 仍然充满挑战 (Li 等人, 2024a (https://arxiv.org/html/2607.08057#bib.bib5))。基于 Transformer 的 LLM 以自回归方式生成令牌，每个令牌依赖于之前的所有令牌。为避免重复计算，服务系统采用**键值 (KV) 缓存** (Pope 等人, 2023 (https://arxiv.org/html/2607.08057#bib.bib1)) 来存储已生成令牌的中间 KV 张量。然而，随着提示和输出长度的增长，KV 缓存可能达到数百万个令牌 (Ding 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib25))，造成内存瓶颈，凸显了 KV 缓存优化的关键作用。因此，大量以 KV 为中心的技术涌现，在吞吐量和延迟方面带来了内存节省和效率提升 (Li 等人, 2024b (https://arxiv.org/html/2607.08057#bib.bib13))。

图 1: 综述范围 (“sKis”) 的定位。

为此，我们认为有必要深入研究系统感知的、服务时的、以 KV 为中心的优化方法，如图 1 (https://arxiv.org/html/2607.08057#S1.F1) 所示，我们将此范围称为 **sKis**。我们采用系统导向的分类法，以全面理解 sKis，将方法按照系统行为的三个基本维度进行分类，如图 2 (https://arxiv.org/html/2607.08057#S1.F2) 所示：(i) **执行与调度** 关注**时间**控制，即 KV 数据何时被访问、计算或调度（参见 §3 (https://arxiv.org/html/2607.08057#S3)）；(ii) **放置与迁移** 捕捉**空间**决策，即 KV 数据在内存层级或设备之间如何放置或移动（参见 §4 (https://arxiv.org/html/2607.08057#S4)）；(iii) **表示与保留** 关注**结构**处理，即 KV 数据如何被压缩或管理（参见 §5 (https://arxiv.org/html/2607.08057#S5)）。我们进一步分析跨行为的**协同设计模式**以及行为-目标效应，以揭示被忽视的领域和开放挑战（参见 §6 (https://arxiv.org/html/2607.08057#S6)）。

图 2: 本综述的分类法，涵盖时间、空间和结构维度。

表 1: 本文与高效 LLM 推理或服务相关综述的比较。  
| 论文 | 以 KV 为中心 | 仅服务 | 无需重训练 | 组织原则 |
|------|--------------|--------|------------|----------|
| Miao 等人 (2023) (https://arxiv.org/html/2607.08057#bib.bib7) | ✓ | | | 算法-系统 |
| Yuan 等人 (2024) (https://arxiv.org/html/2607.08057#bib.bib4) | | ✓ | | 优化层 |
| Li 等人 (2024a) (https://arxiv.org/html/2607.08057#bib.bib5) | | ✓ | ✓ | 系统组件 |
| Zhou 等人 (2024b) (https://arxiv.org/html/2607.08057#bib.bib3) | | ✓ | | 优化层 |
| Zhen 等人 (2025) (https://arxiv.org/html/2607.08057#bib.bib11) | | ✓ | ✓ | 服务规模 |
| Shi 等人 (2024) (https://arxiv.org/html/2607.08057#bib.bib12) | ✓ | | ✓ | 生命周期阶段 |
| Li 等人 (2024b) (https://arxiv.org/html/2607.08057#bib.bib13) | ✓ | | ✓ | 优化层 |
| Liu 等人 (2025c) (https://arxiv.org/html/2607.08057#bib.bib14) | ✓ | | ✓ | 压缩类型 |
| **本综述 (sKis)** | **✓** | **✓** | **✓** | **系统行为** |

虽然先前的综述涵盖了高效 LLM 推理与服务 (Zhou 等人, 2024b (https://arxiv.org/html/2607.08057#bib.bib3); Yuan 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib4); Miao 等人, 2023 (https://arxiv.org/html/2607.08057#bib.bib7); Li 等人, 2024a (https://arxiv.org/html/2607.08057#bib.bib5); Zhen 等人, 2025 (https://arxiv.org/html/2607.08057#bib.bib11))，但它们是通用综述，KV 缓存仅作为次要部分讨论。以 KV 为中心的综述最接近我们的主题 (Shi 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib12); Li 等人, 2024b (https://arxiv.org/html/2607.08057#bib.bib13); Liu 等人, 2025c (https://arxiv.org/html/2607.08057#bib.bib14))，但它们通常按生命周期阶段或优化层来组织。  
相反，本篇综述仅聚焦于 sKis，并通过提供新颖的行为导向视角和更深入的理解来区分自身。  
我们在表 1 (https://arxiv.org/html/2607.08057#S1.T1) 中比较了相关综述，并在附录 C (https://arxiv.org/html/2607.08057#A3) 中提供更多细节。据我们所知，我们是第一个将 KV 缓存优化框架化为一个时间-空间-结构行为空间的工作，从而能够进行原则性分析和可操作的未来方向。  
由于该设计空间与模型和内核细节解耦，它也为在这个快速发展的领域中定位新技术提供了一个稳定的视角。

---

## 2 基础、范围与分类法

图 3: LLM 推理的预填充和解码阶段。

##### LLM 推理与 KV 缓存。  
LLM 以自回归方式生成令牌，如图 3 (https://arxiv.org/html/2607.08057#S2.F3) 所示（关于基于 Transformer 的 LLM 的预备知识见附录 A (https://arxiv.org/html/2607.08057#A1)）。在每一步，模型消耗输入和之前生成的令牌以生成下一个令牌。该过程包括两个阶段：**预填充** 处理初始输入并生成第一个输出令牌；**解码** 以自回归方式生成令牌。由于自注意力的二次成本，重复计算整个序列的注意力代价高昂。为此，**键值 (KV) 缓存** 用于存储之前计算过的中间 KV 张量，使模型能够高效重用它们，而无需重新计算整个序列的注意力。

##### 范围。  
本综述研究了 sKis 范围内的最新进展，如图 1 (https://arxiv.org/html/2607.08057#S1.F1) 所示。sKis 代表**用于服务 LLM 的系统感知 KV 基础设施**。如果一个方法满足以下条件，则属于 sKis：(i) 在服务（推理）期间运行；(ii) 以 KV 缓存为主要优化目标；(iii) 旨在改善系统指标，而不重新训练基础 LLM 的权重或修改其 Transformer 架构。  
我们承认与之相关但超出范围的方向，这些方向重新设计了注意力或 KV 机制 (DeepSeek-AI, 2024 (https://arxiv.org/html/2607.08057#bib.bib146); Yuan 等人, 2025 (https://arxiv.org/html/2607.08057#bib.bib147); Sun 等人, 2026 (https://arxiv.org/html/2607.08057#bib.bib149))，或修改了骨干模型结构 (Ashkboos 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib151); Li 等人, 2024d (https://arxiv.org/html/2607.08057#bib.bib153); Lu 等人, 2026 (https://arxiv.org/html/2607.08057#bib.bib152))。尽管这些方向可以重塑 KV 占用并提高效率，但它们是*通过修改模型本身或需要模型适配*。相比之下，本综述专注于现成模型的服务时 KV 缓存优化，这仍然是社区中常见的部署场景。

##### 分类法。  
我们按照底层系统行为组织 sKis 的文献，如图 2 (https://arxiv.org/html/2607.08057#S1.F2) 所示。更多细节在附录 B (https://arxiv.org/html/2607.08057#A2) 中提供。然而，类似于现代操作系统包含调度、内存和 I/O 组件，LLM 服务系统通常涉及跨越多个系统维度的技术。因此，一篇论文自然可能涉及多个类别。为了清晰和聚焦，我们根据每篇工作的主要贡献提及 1-2 个主要类别。次要关联不展开，详细内容请参考附录 D (https://arxiv.org/html/2607.08057#A4)。我们在图 4 (https://arxiv.org/html/2607.08057#S2.F4) 中总结了组织和方法，并在附录 E (https://arxiv.org/html/2607.08057#A5) 中总结了关键要点。

图 4: sKis 的分类及关联方法。每种方法都附有其主要贡献以保持简洁。次要类别关联在此省略，列于附录 D (https://arxiv.org/html/2607.08057#A4) 的表 9 (https://arxiv.org/html/2607.08057#A4.T9) 中。

---

## 3 KV 执行与调度  
本节涉及 KV 缓存用时的**时间**行为，包括如何在运行时高效调度和执行缓存条目。

### 3.1 以 KV 为中心的调度  
尽管调度是一个长期研究的系统问题，但以 KV 为中心的调度方法明确将 KV 特征整合到运行时决策中。在**请求级别**，一些方法采用 KV 使用感知调度来平衡资源负载并减少争用 (Hu 等人, 2024b (https://arxiv.org/html/2607.08057#bib.bib34); Duan 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib52); Xiong 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib49); Shahout 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib51); Wu 等人, 2024a (https://arxiv.org/html/2607.08057#bib.bib71))。例如，TetriInfer (Hu 等人, 2024b (https://arxiv.org/html/2607.08057#bib.bib34)) 使用预测的 KV 用量优先处理请求，以减轻预填充-解码干扰。另一方向是重用感知，优先处理高重用请求以最大化 KV 缓存命中率 (Zheng 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib47))，或将 KV 重用潜力作为决策中的关键信号 (Srivatsa 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib72); Qin 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib69))。  
在更细粒度的**令牌级别**，方法根据估计的贡献决定哪些 KV 条目参与注意力 (Tang 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib60); Ribar 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib75); Singhania 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib63); Behnam 等人, 2025 (https://arxiv.org/html/2607.08057#bib.bib137); Xu 等人, 2025a (https://arxiv.org/html/2607.08057#bib.bib78); Wu 等人, 2025 (https://arxiv.org/html/2607.08057#bib.bib53))，例如通过定期刷新，交替进行全上下文和子集注意力 (Xu 等人, 2025a (https://arxiv.org/html/2607.08057#bib.bib78))。  
在**内核级别**，方法如 FlashInfer (Ye 等人, 2025 (https://arxiv.org/html/2607.08057#bib.bib46)) 根据查询和 KV 长度调度跨 CUDA 线程块的注意力工作负载。

表 2: OVLP 方法总结。“Comp”表示计算，“I/O”表示 KV 数据移动（主机-设备传输或设备内内存移动），“comm”表示集体通信。  
| 模式 | 方法 | 重叠的操作 (含传输路径) | 粒度 |
|------|------|--------------------------|------|
| Comp–Comp | FastDecode (He and Zhai, 2024 (https://arxiv.org/html/2607.08057#bib.bib30)) | CPU 右部分计算 ↔ GPU 左部分计算 | 令牌级 |
| | Neo (Jiang 等人, 2025c (https://arxiv.org/html/2607.08057#bib.bib67)) | CPU 注意力计算 ↔ GPU 线性运算 | 子批次级 |
| Comp–I/O | CComp (Park and Egger, 2024 (https://arxiv.org/html/2607.08057#bib.bib38)) | CPU MHSA 计算 ↔ FFN 数据传输 (CPU→GPU) | 分割点 |
| | CachedAttention (Gao 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib50)) | GPU 计算 ↔ KV 加载/存储 (CPU↔GPU) | 层级 |
| | AsyncKV (Dong 等人, 2025 (https://arxiv.org/html/2607.08057#bib.bib66)) | GPU 注意力计算 ↔ GPU KV 预取 (HBM→L2) | KV 块级 |
| | KVPR (Jiang 等人, 2025a (https://arxiv.org/html/2607.08057#bib.bib65)) | GPU KV 重新计算 ↔ KV 传输 (CPU↔GPU) | 分割点 |
| | CXL-SpecKV (Liu and Yu, 2026 (https://arxiv.org/html/2607.08057#bib.bib83)) | GPU 计算 ↔ GPU KV 预取 (CXL 内存→L2) | KV 页级 |
| I/O–Comm | PRESERVE (Yüzügüler 等人, 2025 (https://arxiv.org/html/2607.08057#bib.bib64)) | GPU KV 预取 (HBM→L2) ↔ GPU 集体通信 | 算子级 |

### 3.2 流水线与重叠  
流水线与重叠方法通过重叠计算、I/O 和通信来隐藏与 KV 相关的延迟。虽然通常嵌入在更广泛的系统中，但表 2 (https://arxiv.org/html/2607.08057#S3.T2) 重点列出了那些以重叠为核心技术贡献的方法。我们按模式总结它们，并列出了相应的重叠操作和粒度。  
重叠是减少空闲时间并提高效率的关键。

### 3.3 硬件感知执行  
本节聚焦于硬件感知执行方法，这些方法使 KV 相关操作适应底层异构硬件。

#### 3.3.1 解耦推理  
解耦推理将推理计算解耦到不同的硬件资源上，以减少争用并提高利用率。Infinite-LLM (Lin 等人, 2024 (https://arxiv.org/html/2607.08057#bib.bib35)) 在算子级别采用此思想，将注意力分布在分布式实例上。多个系统转而采用预填充和解码分离的方式…