探究提示KV缓存：何处变得可舍弃

# 探究提示KV缓存：何时变得可弃
来源：https://arxiv.org/html/2605.30574
Vinayshekhar Bannihatti KumarManoj Ghuhan ArivazhaganDisha Makhija††footnotemark: Rashmi Gangadharaiah AWS AI Labs \{vinayshk,mghuhan,dismakhi,rgangad\}@amazon\.com

###### 摘要

先前的KV缓存压缩方案通过实验表明，解码过程中提示缓存存在部分冗余，丢弃或汇总条目后准确率损失很小。我们探究这种冗余的*何时*和*何种形式*。在哪些层、经过多少解码步骤后、以及以何种形式，可以替换提示跨度的KV缓存而不破坏任务？一项在层截断和解码步骤上进行扫描的受控拼接干预表明，这种冗余关乎*形式*（聊天模板支架）而非内容。用用户内容为中性填充物的聊天模板支架的KV缓存替换上层提示跨度KV缓存，可恢复接近完整准确率；而将相同位置清零则准确率崩溃。这种分离现象在Qwen3、Gemma3和Llama3系列模型以及多个数据集上得到复现。

探究提示KV缓存：何时变得可弃

Vinayshekhar Bannihatti Kumar Manoj Ghuhan Arivazhagan††感谢：同等贡献。Disha Makhija††footnotemark:Rashmi GangadharaiahAWS AI Labs\{vinayshk,mghuhan,dismakhi,rgangad\}@amazon\.com

## 1 引言

越来越多的研究暗示，LLM在前向传播的不同阶段对提示的使用方式不同。注意力集中在前几个位置作为位置汇点（Xiao et al., 2024 (https://arxiv.org/html/2605.30574#bib.bib1)）；同样的巨大激活值解释了中层压缩低谷（Queipo-de-Llano et al., 2025 (https://arxiv.org/html/2605.30574#bib.bib2)）；上下文内演示被总结为紧凑的内部任务向量和函数向量（Hendel et al., 2023 (https://arxiv.org/html/2605.30574#bib.bib11); Todd et al., 2024 (https://arxiv.org/html/2605.30574#bib.bib12)）；而跨提示KV替换攻击表明，通过用另一个提示的KV覆盖缓存中所有层的尾部令牌位置，可以劫持生成过程（Ganesh et al., 2025 (https://arxiv.org/html/2605.30574#bib.bib3)），但该工作研究的是攻击可行性而非缓存编码的内容。KV缓存压缩方案（Cai et al., 2024 (https://arxiv.org/html/2605.30574#bib.bib4); Li et al., 2024 (https://arxiv.org/html/2605.30574#bib.bib5); Zhang et al., 2023 (https://arxiv.org/html/2605.30574#bib.bib6); Ge et al., 2024 (https://arxiv.org/html/2605.30574#bib.bib7); Liu et al., 2023 (https://arxiv.org/html/2605.30574#bib.bib8)）更进一步，通过实验表明，大量提示缓存可以被丢弃或汇总，而准确率损失很小，这表明存在部分冗余。然而，每项工作都仅在狭窄范围内探讨这个问题（四个汇点令牌、BOS令牌激活值、单一任务向量、与一个捐赠对的全层或全无交换，或特定的剪枝策略），并留下一个开放问题：何时以及用何种替换，可以替换提示跨度KV缓存：在哪些层、经过多少解码步骤后、以及使用何种捐赠内容？答案决定了压缩方案是必须保留条目、丢弃条目，还是替换为占位符。

我们通过一项受控的拼接干预来解决这个问题，该干预在层截断和解码步骤上进行扫描，使用的捐赠缓存保留了提示的*形式*（聊天模板支架）和*内容