保留什么，遗忘什么：大语言模型与智能体中内存压缩的率失真视角

# 要保留什么，要遗忘什么：大型语言模型与智能体中内存压缩的率失真视角 来源：https://arxiv.org/html/2607.08032 和 Nada Lahjouj ([email protected]) (https://arxiv.org/html/2607.08032v1/mailto:[email protected]) 加州大学尔湾分校，尔湾，加利福尼亚，美国 ###### 摘要。大型语言模型及其构建的智能体，正将不断增加的计算和内存份额用于记忆：缓存注意力键值对、携带长提示、维持循环状态、存储先前轮次和会话中的内容。由于这些记忆并非免费，四个大致独立的研究社区各自学会了如何压缩它。它们驱逐或量化 KV 缓存，剪枝或提炼提示，限制架构状态，并整合智能体记忆。我们认为这些是同一个问题的不同实例：一个关于在资源预算下，保留还是丢弃哪些上下文派生信息、以何种保真度保留，以便保持下游任务效用的率失真决策。我们用一个单一的压缩目标和一层无关的下界使这一视角精确化，并以此构建一个七轴分类法，统一地分类来自整个技术栈的方法，并利用它在从未连接过的层次之间传递机制——从服务栈的 KV 管理到智能体的长期记忆。整个综述中存在两种模式。在每个层次上，决定保留什么的信号是注意力大小或新近性，并且它在各个层次上以相同的方式失效：在查询已知之前，丢弃了查询后续需要的信息，且无法撤销。此外，虽然压缩在单轮长上下文中被仔细测量，但智能体实际执行的重复压缩几乎从未被测量过，并且没有基准能同时跨所有层次固定一个预算轴。我们将这两个观察转化为一个基准提案、一个小型参考实验、一组考虑压缩的设计原则，并绘制了开放问题的图谱。 内存压缩，KV 缓存压缩，提示压缩，长上下文语言模型，智能体记忆，率失真，信息瓶颈，高效推理 ††copyright:none ††ccs:计算方法 自然语言处理 ††ccs:计算方法 机器学习 ††ccs:信息系统 信息检索 ## 1. 引言 在一个拥有十万个 token 的 Transformer 模型上运行推理时，已读取内容缓存的键值对占据的加速器空间比模型本身的权重还要大 (Kwon et al., 2023 (https://arxiv.org/html/2607.08032#bib.bib106); Liu et al., 2024c (https://arxiv.org/html/2607.08032#bib.bib12))。同样的压力以其他形式出现。一个朝着目标工作的智能体会积累起工具调用及其结果的记录，这些记录很快会超出任何上下文窗口 (Yao et al., 2023 (https://arxiv.org/html/2607.08032#bib.bib80); Packer et al., 2024 (https://arxiv.org/html/2607.08032#bib.bib72))；状态空间或线性注意力模型将整个过去压缩成一个固定大小的状态；一个期望了解其用户的助手需要将一个会话中的某些内容带入下一个会话 (Maharana et al., 2024 (https://arxiv.org/html/2607.08032#bib.bib124); Wu et al., 2025a (https://arxiv.org/html/2607.08032#bib.bib123))。在每种情况下，稀缺资源不再是计算，而是对已读内容的记忆，实际问题是当内容过多无法容纳时该怎么做。围绕这个问题，四类工作各自发展，彼此之间联系甚少。

**KV 缓存压缩** 在推理期间起作用：它会丢弃低价值的 token (Zhang et al., 2023 (https://arxiv.org/html/2607.08032#bib.bib2); Li et al., 2024a (https://arxiv.org/html/2607.08032#bib.bib5); Xiao et al., 2024b (https://arxiv.org/html/2607.08032#bib.bib1))，用少数比特存储其余部分 (Liu et al., 2024c (https://arxiv.org/html/2607.08032#bib.bib12); Hooper et al., 2025 (https://arxiv.org/html/2607.08032#bib.bib13))，对其进行分解 (Chang et al., 2024 (https://arxiv.org/html/2607.08032#bib.bib17); DeepSeek-AI et al., 2024 (https://arxiv.org/html/2607.08032#bib.bib16))，或进行合并 (Zhang et al., 2024d (https://arxiv.org/html/2607.08032#bib.bib146); Liu et al., 2024a (https://arxiv.org/html/2607.08032#bib.bib21))。

**提示和上下文压缩** 作用得更早，在模型读取输入之前，它会删除或重写 token (Jiang et al., 2023 (https://arxiv.org/html/2607.08032#bib.bib24); Li, 2023 (https://arxiv.org/html/2607.08032#bib.bib23))，或者将文本段替换成少量学习到的“要点”向量 (Mu et al., 2024 (https://arxiv.org/html/2607.08032#bib.bib34); Ge et al., 2024b (https://arxiv.org/html/2607.08032#bib.bib36); Cheng et al., 2024 (https://arxiv.org/html/2607.08032#bib.bib37))。

第三条线路则更改**架构**，使得内存在构造上就是有界的，通过片段循环 (Bulatov et al., 2022 (https://arxiv.org/html/2607.08032#bib.bib45); Rae et al., 2019 (https://arxiv.org/html/2607.08032#bib.bib44))、固定大小的压缩内存 (Munkhdalai et al., 2024 (https://arxiv.org/html/2607.08032#bib.bib48)) 或线性时间状态空间模型 (Gu and Dao, 2024 (https://arxiv.org/html/2607.08032#bib.bib49); Peng et al., 2023 (https://arxiv.org/html/2607.08032#bib.bib50); Behrouz et al., 2024 (https://arxiv.org/html/2607.08032#bib.bib51))。

第四条线路在**整个智能体**的规模上工作，在任务进行中修剪工作上下文 (Kang et al., 2026 (https://arxiv.org/html/2607.08032#bib.bib85); Sun et al., 2025b (https://arxiv.org/html/2607.08032#bib.bib83); Zhou et al., 2025 (https://arxiv.org/html/2607.08032#bib.bib82))，并整合值得跨任务保留的内容 (Chhikara et al., 2025 (https://arxiv.org/html/2607.08032#bib.bib78); Xu et al., 2025 (https://arxiv.org/html/2607.08032#bib.bib77); Park et al., 2023 (https://arxiv.org/html/2607.08032#bib.bib73))。每条线路都有自己的基准测试和成功的衡量标准——无论是固定困惑度下的压缩比、固定准确度下节省的 token，还是固定状态大小下的召回率，并且来自一条线路的方法很少引用另一条线路的方法。

这四个问题是同一问题的不同外衣。任何层次上的方法都会接受模型已读取的全部历史 \(H\)，并产生一个满足预算 \(B\) 的较小表示 \(Z\)；称之为 **压缩算子** \(C\)。然后模型在 \(Z\) 上运行来代替原始内容，通过一个 **使用算子** \(U\)。无论是否明确陈述，该方法都在解决一个优化问题：保持 \(Z\) 足够小，同时尽可能少牺牲下游准确性。这就是一个率失真问题（第 2 节 (https://arxiv.org/html/2607.08032#S2)），一旦以这种方式解读这个领域，方法之间的差异归结为三个方面。它们压缩什么单位：比特、token、注意力头、文本段、向量、存储的事实？它们在模型生命周期的哪个位置起作用：预训练、预填充、解码、服务、任务内部，还是任务之间？并且，它们是在查询已知之前还是之后决定保留什么？图 1 (https://arxiv.org/html/2607.08032#S1.F1) 将这些综述内容映射到这些区别上。

以这种方式解读该领域带来三个好处。第一个是共享的衡量标尺。一个保留四分之一 token 的 KV 驱逐器和一个用四比特存储每个 token 的量化器，在每 token 字节数这个轴上落在同一点上，因此可以在该轴上的准确度进行比较，并且智能体的摘要也可以放置在该轴上。第二个是，一种故障模式原来潜伏在许多症状背后。一种在查询到达之前就确定保留什么，并且无法撤回其选择的方法，迟早会丢弃查询所需的内容——无论是驱逐 KV 条目、总结一份抄本，还是将过去折叠成循环状态。这里起作用的两个属性——可逆性和查询条件化——反复出现。第三个是，技术变得可移植：一旦智能体基于艾宾浩斯遗忘曲线 (Zhong et al., 2023 (https://arxiv.org/html/2607.08032#bib.bib75)) 和 KV 驱逐器的注意力分数规则 (Zhang et al., 2023 (https://arxiv.org/html/2607.08032#bib.bib2)) 被视为同一量的两种估计，那么研究更充分的那一个就可以为另一个提供设计理念，Quest 的无驱逐检索 (Tang et al., 2024b (https://arxiv.org/html/2607.08032#bib.bib8)) 预示了一种智能体记忆设计，而 Ada-KV 的输出误差界 (Feng et al., 2025 (https://arxiv.org/html/2607.08032#bib.bib9)) 则为摘要生成提供了一个停止规则 (第 10 节 (https://arxiv.org/html/2607.08032#S10))。

我们并非第一个连接这些领域的人。最近的一篇综述将 token 级、参数化、潜在和智能体记忆归入一个形式/功能/动态方案下 (Hu et al., 2026 (https://arxiv.org/html/2607.08032#bib.bib139))，另一篇则将智能体记忆视为一个写入-管理-读取的 POMDP (Du, 2026 (https://arxiv.org/html/2607.08032#bib.bib143))。本综述新增的是一个具有可证明边界的单一优化目标，而非描述性分组；覆盖范围达及服务栈、量化以及低秩数学运算，同时涵盖智能体记忆，这是以往综述未跨越的；明确的层次间机制传递；以及一个我们既定义又运行的基准测试。表 1 (https://arxiv.org/html/2607.08032#S1.T1) 列出了比较。我们做出六项贡献。

- • 我们将内存压缩形式化为一个率失真问题，并推导出一个与层无关的下界（式 2 (https://arxiv.org/html/2607.08032#S2.E2)），表明在低于任务信息需求的情况下，每一层都必须以由相同表达式设定的速率出错，并且与查询无关的压缩会付出可量化的代价（第 2 节 (https://arxiv.org/html/2607.08032#S2)）。
- • 我们给出一个七轴分类法（第 3 节 (https://arxiv.org/html/2607.08032#S3)），统一地对来自所有四个层的方法进行分类，并提供一个主表格。
- • 我们通过该形式对每一层进行综述：KV 缓存（第 4 节 (https://arxiv.org/html/2607.08032#S4)）、提示/上下文（第 5 节 (https://arxiv.org/html/2607.08032#S5)）、架构（第 6 节 (https://arxiv.org/html/2607.08032#S6)）、智能体/语义（第 7 节 (https://arxiv.org/html/2607.08032#S7)）、可训练的稀疏注意力前沿（第 8 节 (https://arxiv.org/html/2607.08032#S8)），以及多模态/多智能体设置（第 9 节 (https://arxiv.org/html/2607.08032#S9)）。
- • 我们明确了推理 ↔ 智能体记忆的桥梁（第 10 节 (https://arxiv.org/html/2607.08032#S10)），跨层移植具体机制，并推导出五个考虑压缩的设计原则。
- • 我们提出 **COMPACT-Bench** 并在商用硬件上进行了一个小型参考实验，该实验将 KV 驱逐、量化、提示压缩和摘要生成放在一个预算轴上，并测量了重复压缩下的误差积累（第 13-14 节 (https://arxiv.org/html/2607.08032#S13)– (https://arxiv.org/html/2607.08032#S14)）。
- • 我们将开放问题整合为一个优先级议程（第 15 节 (https://arxiv.org/html/2607.08032#S15)）。

两个主题贯穿始终。一个是，可逆性通常比任何评分技巧更重要：在相同预算下，能够取回已丢弃内容的方法优于不能取回的方法，并且它正是在那些依赖于丢弃内容的查询上获胜。另一个是测量差距。压缩在单轮长上下文任务上测试，但智能体一次又一次地压缩相同的内存，几乎没有东西测量这种重复的代价；第 13 节 (https://arxiv.org/html/2607.08032#S13) 提出了一个这样做的基准测试。我们将注意力限制在来自模型上下文的记忆压缩上，主要借鉴 2023 至 2026 年机器学习、自然语言处理和系统文献中的工作，包括预印本。如果一个方法在试图保持模型行为不变的同时缩小了上下文的记忆或 token 占用，那么它就在范围内。权重级压缩（剪枝、蒸馏、权重量化）不在范围内，同样不在范围内的还有未施加内存限制的长上下文训练，除非这类工作内置了有界内存。许多文献都是近期且未经同行评审的，因此我们将预印本编号视为暂定的，并标示尚未被复现的结果。

**内存压缩** 一个率失真决策

KV 缓存 (§4 (https://arxiv.org/html/2607.08032#S4))
提示/上下文 (§5 (https://arxiv.org/html/2607.08032#S5))
架构 (§6 (https://arxiv.org/html/2607.08032#S6))
智能体记忆 (§7 (https://arxiv.org/html/2607.08032#S7))
跨领域 (§8 (https://arxiv.org/html/2607.08032#S8), §9 (https://arxiv.org/html/2607.08032#S9))

驱逐·量化·低秩·合并 *H2O, SnapKV, KIVI, Palu*
硬剪枝·软要点·蒸馏 *LLMLingua, gisting, ICAE*
循环·SSM·关联记忆 *RMT, Mamba, Titans*
策展·整合·检索 *MemGPT, Mem0, RAPTOR*
学习稀疏性·视觉/多智能体 *NSA, MoBA, ToMe, G-Memory*

图 1. 综述地图。内存压缩的四个领域作用于不同的基质和不同的时间点，但每一个都做出相同的率失真选择（第 2 节 (https://arxiv.org/html/2607.08032#S2)）：KV 缓存（第 4 节 (https://arxiv.org/html/2607.08032#S4)）、提示和上下文（第 5 节 (https://arxiv.org/html/2607.08032#S5)）、架构状态（第 6 节 (https://arxiv.org/html/2607.08032#S6)）和智能体记忆（第 7 节 (https://arxiv.org/html/2607.08032#S7)），其中可训练的稀疏注意力（第 8 节 (https://arxiv.org/html/2607.08032#S8)）以及多模态或多智能体设置（第 9 节 (https://arxiv.org/html/2607.08032#S9)）横跨它们。第 3 节 (https://arxiv.org/html/2607.08032#S3) 的分类法在共同轴上对方法进行分类，第 10 节 (https://arxiv.org/html/2607.08032#S10) 则在它们之间传递机制。

| 综述 | KV | 提示 | 架构 | 智能体 | 系统 | RD/IB | 目标 | 跨层 | 统一 |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| AI 智能体时代的记忆 (Hu et al., 2026 (https://arxiv.org/html/2607.08032#bib.bib139)) | ◐ | ◐ | ◐ | ● | ○ | ○ | ◐ | ○ |
| KV 缓存管理 (Li et al., 2025a (https://arxiv.org/html/2607.08032#bib.bib140)) | ● | ○ | ○ | ○ | ● | ○ | ○ | ○ |
| KV 缓存压缩综述 (Liu et al., 2025 (https://arxiv.org/html/2607.08032#bib.bib141)) | ● | ○ | ○ | ○ | ◐ | ○ | ○ | ○ |
| 提示压缩 (Li et al., 2024b (https://arxiv.org/html/2607.08032#bib.bib142)) | ○ | ● | ○ | ○ | ○ | ◐ | ○ | ○ |
| 自主智能体的记忆 (Du, 2026 (https://arxiv.org/html/2607.08032#bib.bib143)) | ○ | ◐ | ◐ | ● | ○ | ◐ | ◐ | ◐ |
| 智能体记忆的安全性 (Lin et al., 2026 (https://arxiv.org/html/2607.08032#bib.bib144)) | ○ | ○ | ○ | ◐ | ○ | ○ | ○ | ○ |
| 高效 LLM (Wan et al., 2024a (https://arxiv.org/html/2607.08032#bib.bib145)) | ◐ | ○ | ○ | ○ | ● | ○ | ○ | ○ |
| **本综述** | ● | ● | ● | ● | ● | ● | ● | ● |

表 1. 本综述相对于最接近的先前综述的覆盖范围。● 专门论述；◐ 在另一个主题内讨论；○ 缺失。列标题为四个压缩层（KV 缓存、提示/上下文、架构/循环、智能体/语义）、服务/系统基底、统一的*率失真/信息瓶颈目标*、显式的*跨层机制传递*，以及*统一的压缩基准*。近年来的综述涵盖了前四列（特别是 Hu et al., 2026 (https://arxiv.org/html/2607.08032#bib.bib139)）；我们的新颖之处在于后三列。

## 2. 一个统一的压缩形式化

本节将非正式的主张转化为可计算的东西：一个目标函数、一个适用于所有四个层的下界、对该领域“重要性”启发式作为对同一量估计的解读，以及最常决定方法成败的两个属性。固定生成过程中的某个点，让 \(H\) 表示模型在该点可以调用的所有内容：提示 token 及其激活、KV 缓存、任何循环状态，以及任何先前轮次的记忆。一个 **压缩方案** 是一对 \((C_\theta, U)\)。压缩算子 \(C_\theta: H \mapsto Z\)