ElasticMem：作为LLM智能体可学习资源的潜在记忆

# ElasticMem：作为可学习资源的潜在记忆，用于LLM智能体  
来源：https://arxiv.org/html/2605.30690  

Tao Feng¹, Chongrui Ye¹, Tianyang Luo¹, Jingjun Xu¹, Xueqiang Xu¹, Haozhen Zhang², Ge Liu¹, Jiaxuan You¹  
¹伊利诺伊大学厄巴纳-香槟分校  
²南洋理工大学  

###### 摘要  

长期记忆对于LLM智能体在扩展交互中进行连贯推理、个性化回应以及复用过往经验至关重要。然而，现有的记忆增强方法通常将记忆视为固定资源：文本空间方法将检索到的记忆拼接到上下文中，导致大量token开销且易受噪声证据影响；而潜在空间方法虽然减少了文本成本，但仍依赖刚性检索或固定容量的记忆接口。这造成了查询相关的记忆效用与固定记忆分配之间的不匹配。我们提出**ElasticMem**，一种将记忆学习为弹性潜在资源的记忆增强LLM框架。ElasticMem首先构建离线潜在记忆库，包含检索键和内容缓存；然后从推理器的隐藏状态中自适应检索记忆，通过学习策略为每个检索到的记忆分配可变潜在预算，最后将选定的潜在状态作为软记忆令牌注入用于生成。整个记忆使用过程通过组相对策略优化（Group Relative Policy Optimization）以下游任务奖励进行优化。我们在MemorySuite上评估ElasticMem，涵盖记忆密集型问答和具身智能体控制。在Qwen2.5-3B-Instruct和Qwen2.5-7B-Instruct骨干模型上，ElasticMem相比最强基线，将加权平均问答准确率分别提升26.2%和24.6%，并将ALFWorld成功率分别提升66.3%和27.2%，同时实现了ALFWorld最低的token成本。消融实验和定性分析进一步表明，自适应检索和弹性预算分配帮助ElasticMem优先关注有用证据和可迁移计划，超越了刚性余弦相似度。ElasticMem的代码将在 https://github.com/ulab-uiuc/ElasticMem 发布。  

## 1 引言  

长期记忆对于使大型语言模型智能体能够在扩展交互中进行连贯推理、跨会话个性化回应以及在长周期任务中复用过往经验至关重要（Park et al., 2023 (https://arxiv.org/html/2605.30690#bib.bib44); Shinn et al., 2023 (https://arxiv.org/html/2605.30690#bib.bib42); Zhong et al., 2024 (https://arxiv.org/html/2605.30690#bib.bib13); Wang et al., 2023 (https://arxiv.org/html/2605.30690#bib.bib41); Hu et al., 2025 (https://arxiv.org/html/2605.30690#bib.bib91); Zhang et al., 2025b (https://arxiv.org/html/2605.30690#bib.bib92)）。在现实场景中，智能体可能需要从过往对话中检索用户偏好（Sun et al., 2025 (https://arxiv.org/html/2605.30690#bib.bib93); Pan et al., 2025 (https://arxiv.org/html/2605.30690#bib.bib94)），跟踪散布在长对话历史中的事实（Du et al., 2025 (https://arxiv.org/html/2605.30690#bib.bib95); Tavakoli et al., 2025 (https://arxiv.org/html/2605.30690#bib.bib96)），或复用先前轨迹中的程序性经验（Zheng et al., 2023 (https://arxiv.org/html/2605.30690#bib.bib97); Mi et al., 2026 (https://arxiv.org/html/2605.30690#bib.bib98)）。因此，记忆不仅是辅助的上下文来源，更是将LLM智能体扩展到当前上下文窗口之外的核心机制（Yan et al., 2025 (https://arxiv.org/html/2605.30690#bib.bib100)）。  

尽管记忆如此重要，现有的记忆增强LLM系统大多将记忆视为表1 (https://arxiv.org/html/2605.30690#S1.T1) 所示的**固定**资源。文本空间记忆方法将记忆存储为自然语言记录，在注入选定记忆之前进行检索、总结、更新或组织（Zhong et al., 2024 (https://arxiv.org/html/2605.30690#bib.bib13); Xu et al., 2025a (https://arxiv.org/html/2605.30690#bib.bib14); Fang et al., 2025a (https://arxiv.org/html/2605.30690#bib.bib15); Chhikara et al., 2025 (https://arxiv.org/html/2605.30690#bib.bib16); Kang et al., 2025 (https://arxiv.org/html/2605.30690#bib.bib17); Fang et al., 2025b (https://arxiv.org/html/2605.30690#bib.bib18); LangChain, 2024 (https://arxiv.org/html/2605.30690#bib.bib19)）。虽然这种方式可解释性强，但它将记忆使用与提示长度耦合：无关或冗余的记忆仍会消耗上下文令牌，而有用的记忆可能被嘈杂的文本证据稀释。潜在空间记忆方法通过将记忆压缩为连续向量或软令牌来减少文本开销（Zhang et al., 2025a (https://arxiv.org/html/2605.30690#bib.bib20); Chevalier et al., 2023 (https://arxiv.org/html/2605.30690#bib.bib90); Wang et al., 2025 (https://arxiv.org/html/2605.30690#bib.bib22)）。然而，它们通常暴露刚性的记忆接口：检索常基于固定的相似度分数，且每个检索到或压缩后的记忆获得统一或预定义的潜在容量（Karpukhin et al., 2020 (https://arxiv.org/html/2605.30690#bib.bib101); Reimers and Gurevych, 2019 (https://arxiv.org/html/2605.30690#bib.bib106); Zhang et al., 2026 (https://arxiv.org/html/2605.30690#bib.bib102)）。因此，一个与查询在词汇上相似的记忆块可能被检索出来，即使它提供的证据用处不大；而一个相似度较低但包含关键事实或可迁移计划的记忆块可能未被充分利用。这就造成了核心不匹配：记忆的有用性依赖于查询和任务，但记忆检索和记忆容量往往由固定的设计选择决定。  

这种不匹配促使我们重新思考记忆的使用方式。我们不再问“如何检索更多记忆”或“如何平等压缩所有记忆”，而是问：**LLM智能体如何学习自适应地检索和分配记忆，使得有用的记忆获得更多表示预算，而无用的记忆被压缩或抑制？**  

回答这个问题需要解决三个挑战。  

**第一，检索应适应当前查询和推理器的内部状态。** 现有大多数记忆系统依赖刚性的基于相似度的检索，由固定编码器或表面语义匹配来选择记忆。然而，语义相似度并不必然指示下游效用：一个主题相似的记忆可能毫无帮助，而一个不那么相似的记忆可能包含关键证据或可迁移计划（Gan et al., 2024 (https://arxiv.org/html/2605.30690#bib.bib99); Dai et al., 2025 (https://arxiv.org/html/2605.30690#bib.bib107); Xu et al., 2025b (https://arxiv.org/html/2605.30690#bib.bib108); Shi et al., 2023 (https://arxiv.org/html/2605.30690#bib.bib109); Liu et al., 2024b (https://arxiv.org/html/2605.30690#bib.bib110)）。  

**第二，记忆容量应被自适应分配。** 不同检索到的记忆块扮演不同角色：有些包含直接证据，有些提供可复用的流程，有些是冗余的，还有些是误导性的。固定潜在预算无法区分这些情况（Yan et al., 2024 (https://arxiv.org/html/2605.30690#bib.bib103)）。  

**第三，检索和分配应从任务结果中学习。** 由于记忆的有用性只有在生成或交互后才能显现，记忆系统应基于下游反馈（而非仅仅相似度分数）来学习检索哪些记忆以及分配多少容量（Asai et al., 2023 (https://arxiv.org/html/2605.30690#bib.bib104); Gao et al., 2024 (https://arxiv.org/html/2605.30690#bib.bib105)）。  

表1：与代表性记忆增强LLM范式的比较。文本空间记忆方法检索并注入自然语言记忆，可解释但token开销大。现有潜在空间方法减少文本开销，但仍依赖固定容量记忆接口或刚性检索机制。**ElasticMem** 执行推理器状态自适应检索，并为每个检索到的记忆分配弹性潜在容量。  

| 范式 | 代表性方法 | 记忆空间 | Token高效 | 推理器状态自适应检索 | 弹性容量 |
|------|------------|----------|-----------|----------------------|----------|
| 文本长期记忆 | MemoryBank (Zhong et al., 2024) / Mem0 (Chhikara et al., 2025) / MemoryOS (Kang et al., 2025) | 文本 | ✗ | ✗ | ✗ |
| 文本智能体记忆 | A-MEM (Xu et al., 2025a) / LightMem (Fang et al., 2025a) / MemP (Fang et al., 2025b) | 文本 | ✗ | ✗ | ✗ |
| 固定潜在压缩 | AutoCompressor (Chevalier et al., 2023) | 潜在 | ✓ | ✗ | ✗ |
| 潜在记忆检索 | MemGen (Zhang et al., 2025a) / M+ (Wang et al., 2025) | 潜在 | ✓ | ✗ | ✗ |
| **弹性潜在记忆** | **ElasticMem** | **潜在** | **✓** | **✓** | **✓** |

为应对这些挑战，我们提出 **ElasticMem**，一种将记忆视为弹性潜在资源的记忆增强LLM框架。ElasticMem首先构建离线潜在记忆库，将每个记忆块编码为检索键和内容缓存。推理时，ElasticMem不依赖固定的外部检索器，而是从LoRA适配的推理器隐藏表示中（在采样一个检索控制令牌后）推导出查询条件化的检索状态。这使得检索能够适应当前查询和模型内部推理状态，而不仅仅依赖刚性相似度匹配。检索到候选记忆后，ElasticMem使用一个轻量级Transformer预算策略为每个检索到的记忆块分配可变数量的潜在令牌。有用或包含证据的记忆块可获更大潜在预算，而冗余或误导性记忆块则可获较少令牌或被完全抑制。选定的潜在状态随后被投影为软记忆令牌并注入推理器用于生成。  

关键在于，ElasticMem不将检索、分配和生成视为孤立模块分别训练，而是通过组相对策略优化（Shao et al., 2024 (https://arxiv.org/html/2605.30690#bib.bib29); Guo et al., 2025 (https://arxiv.org/html/2605.30690#bib.bib65)）联合优化整个记忆使用过程与下游任务奖励。奖励信号监督检索控制决策、记忆预算分配、潜在投影器以及LoRA适配的（Hu et al., 2022 (https://arxiv.org/html/2605.30690#bib.bib68)）推理器。这种设计将记忆管理与实际任务效用对齐：模型不仅学习回答什么，还学习检索哪些记忆以及每个记忆应获得多少表示容量。  

我们在 **MemorySuite** 上评估ElasticMem，这是一个面向记忆的评估套件，涵盖两个互补场景：MemorySuite-QA（包括PersonaMem-32K、PersonaMem-128K、LoCoMo和LongMemEval，分别用于个性化记忆召回、长对话理解、时间推理和长上下文记忆评估）（Jiang et al., 2025a (https://arxiv.org/html/2605.30690#bib.bib1); Maharana et al., 2024 (https://arxiv.org/html/2605.30690#bib.bib10); Wu et al., 2024 (https://arxiv.org/html/2605.30690#bib.bib11)）和MemorySuite-Agentic（使用ALFWorld评估记忆增强的具身决策）（Shridhar et al., 2020 (https://arxiv.org/html/2605.30690#bib.bib12)）。在Qwen2.5-3B-Instruct和Qwen2.5-7B-Instruct两个骨干模型上，ElasticMem一致优于强文本空间和潜在空间记忆基线。在MemorySuite-QA上，ElasticMem相比最强基线，使用Qwen2.5-3B-Instruct时加权平均准确率提升26.2%，使用Qwen2.5-7B-Instruct时提升24.6%。在ALFWorld上，ElasticMem使用Qwen2.5-3B-Instruct时加权平均成功率提升66.3%，使用Qwen2.5-7B-Instruct时提升27.2%。值得注意的是，ElasticMem在ALFWorld上还实现了所有方法中最低的token成本，表明其性能提升并非来自更长的交互轨迹或过度使用记忆。消融实验进一步证实了自适应检索、弹性预算分配以及适度的每块容量上限的重要性，而定性分析显示ElasticMem学会将更大预算分配给包含有用证据或可迁移计划的记忆块，即使这些记忆块在余弦检索下并非最相似的。  

## 2 预备知识  

### 2.1 记忆增强语言模型  

考虑一个记忆增强语言模型，它需要回答查询\(q\)，并可以访问外部记忆语料库\(\mathcal{M}=\{m_i\}_{i=1}^N\)。每个记忆项\(m_i\)是一个长期上下文的片段，例如对话片段、文档段落或程序性技能卡片。标准的检索增强系统首先将查询和记忆片段嵌入，检索排名最高的片段，然后将检索到的内容前置到模型输入中：  

\[
\mathcal{R}(q) = \operatorname{TopK}_{m_i \in \mathcal{M}} \operatorname{sim}(e_q, e_i),
\]  

其中\(e_q\)和\(e_i\)分别表示查询和记忆的嵌入。这种“检索并拼接”范式为长期记忆访问提供了简单机制，但在记忆和生成之间施加了刚性接口。系统通常检索固定数量的片段，将其作为纯文本注入，并按它们原始令牌长度而非查询特定效用分配上下文窗口容量。因此，无关或冗余片段可能消耗大量上下文，而紧凑但关键的证据可能得不到足够的表示容量。  

### 2.2 潜在记忆接口  

另一种替代方案是使用连续潜在向量而非自然语言文本来表示记忆。设\(E(\cdot)\)为LLM的令牌嵌入层，隐藏维度为\(d\)。一个潜在或软记忆令牌\(z \in \mathbb{R}^d\)可以直接插入输入嵌入序列中：  

\[
X = \bigl[E(x_1), \ldots, E(x_T), z_1, \ldots, z_B \bigr].
\]  

这种潜在接口避免了将检索到的记忆重新渲染为文本，并可减少提示开销。然而，现有的潜在记忆方法通常仍暴露固定容量接口：每个检索到的记忆块获得相同数量的潜在令牌，无论其相关性、冗余度或信息密度如何。这促使我们需要更灵活的记忆接口。理想情况下，模型应在两个层面上自适应记忆使用：选择对当前查询有用的记忆块，并为更信息丰富的记忆块分配更多潜在容量以解决任务。  

## 3 ElasticMem：将记忆使用作为可学习资源  

### 3.1 概述  

见图1：ElasticMem概览。ElasticMem学习将长期记忆用作弹性潜在资源。(1) 潜在记忆库构建。来自对话、段落和技能卡片的记忆块由冻结的离线LLM编码器一次性编码。每个块存储为检索键和潜在内容缓存，形成只读记忆库\(\mathcal{B}\)，在训练期间不更新。(2) 查询条件化的弹性记忆检索与分配。对于每个查询，LoRA适配的推理器生成一个检索控制令牌并推导出查询状态，用于检索排名靠前的记忆块。然后一个预算策略为每个检索到的记忆块分配可变潜在预算\(b_j \in \{0, \ldots, B_{\max}\}\)，使得有用的块获得更多容量，而弱或冗余的块被压缩或抑制。(3) 潜在记忆注入。选定的