UniMem：面向边界无关任务流的互补性情景记忆到参数记忆

# UniMem：面向边界无关任务流的互补式情节到参数化记忆

来源：https://arxiv.org/html/2607.26017

## 摘要

记忆对于LLM代理积累任务经验和复用任务特定执行策略至关重要。然而，在边界无关且不断演化的任务流中实际部署时，会暴露出根本性的稳定性-可塑性困境。基于外部检索的记忆可以快速吸收新证据，但往往难以内化重复出现的执行模式，且会带来推理时的检索开销。参数化记忆一旦习得，便能实现稳定高效的执行，但通常依赖于显式的任务边界和固定的参数预算。受人类大脑通过互补式情节存储和渐进巩固来平衡可塑性与稳定性的启发，我们提出**UniMem**，一种用于自主记忆管理的自路由框架。UniMem使用可学习的路由令牌作为记忆控制器，实现互补记忆通路之间的自适应协调：新颖或稀疏的任务保留在情节缓冲区中，用于检索增强执行；而重复出现且可靠的模式则被巩固到可扩展的参数化记忆中。通过用路由令牌和参数化记忆块将任务识别与任务执行解耦，UniMem在部署期间无需任务标签即可按需扩展记忆，且不会导致参数不受控增长。在长时程流式任务序列上的实验表明，UniMem在保持执行保真度的同时，持续优于基线方法，在三个骨干模型上平均提升了4.0个EM分数。

---

# UniMem：面向边界无关任务流的互补式情节到参数化记忆

夏思宇¹,²†，张晨恒³*，吴彦婷¹,²，李浩轩⁴，柴嘉骏⁵，王晓涵⁵，尹国军⁵，林伟⁵，林宙辰³，张海峰¹,²†，王军⁶†

† 同等贡献。* 通讯作者：[email protected], [email protected]

¹ 中国科学院自动化研究所，北京，中国
² 中国科学院大学人工智能学院，中国
³ 北京大学通用人工智能国家实验室，智能科学与技术学院
⁴ 北京大学人工智能研究院
⁵ 美团
⁶ 伦敦大学学院计算机科学系AI中心，伦敦，英国

---

## 1 引言

记忆是LLM代理的核心能力，使其能够在交互过程中积累任务经验并复用特定任务的执行策略（Hu等，2026；Zhang等，2026；Zhao等，2024；Wu等，2026）。现有的记忆构建方法大致分为两类：外部记忆和参数化记忆（Wu等，2025）。外部记忆，以检索增强生成（RAG）（Oche等，2025）为代表，将指令、示范或经验存储在模型参数之外，并在推理时进行检索。其主要优势在于高可塑性：无需梯度更新即可立即吸收新证据，适用于多样化和混合任务。相比之下，参数化记忆将可复用的任务知识内化到连续的、可训练的空间中。一类广泛采用的方法是参数高效微调（PEFT），包括基于LoRA和基于提示的变体（Wang等，2023；Li等，2024），它们在保持骨干模型冻结的同时，将任务知识存储在轻量级模块中。一旦相应的任务模式被充分学习，这种参数化记忆便可提供稳定高效的执行。

**图1：UniMem的情节到参数化概念工作流程。**

- **初始路由构建**：初始化已知任务的路由嵌入，并校准新颖性哨兵e\_NOVEL。
- **情节缓存**：将路由到e\_NOVEL的查询存储起来，用于检索增强执行。
- **参数化巩固**：聚类重复出现的缓冲模式，并将其转换为新的路由嵌入及关联的参数化记忆单元。

然而，实际部署暴露了一个更困难的设定：LLM代理必须处理异构、边界无关且不断演化的流式任务（Delange等，2021；Yang等，2025；Bidaki等，2025）。在这种设定下，单独依赖外部记忆或参数化记忆都会导致稳定性-可塑性困境。纯粹的外部记忆方案对混合输入保持灵活性，但当任务模式重复出现时，往往表现出有限的泛化能力和次优的性能，因为检索到的示例或指令不能可靠地将可复用的执行行为内化到模型中；同时还会在推理时带来检索和上下文处理开销。纯粹的参数化方案提供了稳定的内化能力，但通常需要显式的任务边界和固定的参数预算，难以适应任务组成和规模随时间变化的异构流。

互补学习系统（CLS）理论为解决这一矛盾提供了自然的视角（McClelland等，1995；Kumaran等，2016）。CLS认为，单一的记忆系统无法同时实现高可塑性（快速吸收新经验）和高稳定性（无干扰地保留可复用知识）。相反，人类大脑通过互补的记忆系统来解决这种稳定性-可塑性权衡：海马体支持新经验的快速情节存储，而新皮层逐渐将重复出现的结构巩固为稳定的长期知识。这种人类记忆机制激发了我们的问题表述：LLM代理如何在边界无关的任务流中自主协调情节检索与选择性参数化巩固？

为了应对这一挑战，我们提出**UniMem**，一种用于开放世界自主记忆扩展的统一记忆框架。如图2所示，UniMem通过自路由的情节到参数化生命周期来运作互补记忆视角。其核心机制是一组可学习的路由令牌，作为记忆控制器，学习任务判别信号，为每个查询选择合适的记忆通路。给定一个传入查询，UniMem将其与已巩固的任务令牌以及校准的新颖性哨兵e\_NOVEL进行比较；路由决策直接决定后续的记忆访问。匹配到已知令牌的查询激活相应的参数化记忆块P\_k以进行稳定执行，而新颖或不确定的查询则被发送到情节缓冲区，获得检索增强支持，避免过早的参数分配。随着缓冲区中证据的积累，重复出现的模式在无任务标签的情况下被聚类，通过质量门控过滤，并通过分配新的路由令牌（配对一个参数化记忆块）提升为新的记忆单元。通过这种方式，UniMem学习自适应的记忆管理策略，将稀疏证据保留在外，同时自主地将可靠的重复模式巩固到可扩展的参数化记忆中。

总之，我们的主要贡献如下：

- **异构流式任务作为记忆挑战**：我们将异构、边界无关且不断演化的任务流形式化为LLM代理部署中实际的记忆管理挑战，在该挑战中，单独依赖外部或参数化记忆会暴露稳定性-可塑性困境。
- **类脑启发式统一记忆框架**：受互补学习系统理论启发，我们提出UniMem，一种自动记忆系统，将罕见任务路由到情节记忆，并将频繁模式巩固到参数化记忆中。
- **广泛的实证验证**：在多种长时程流式设定下的评估表明，UniMem在自主记忆扩展过程中，持续优于现有基线，同时保持稳健的任务执行和记忆稳定性。

---

## 2 相关工作

### 2.1 记忆增强型LLM

当前的记忆增强范式大致分为两类：外部记忆和基于参数的内部记忆。外部记忆将任务相关知识存储在模型参数之外，并通过上下文窗口注入作为动态工作空间，近期研究探索了从代理经验中战略性提取知识（Shinn等，2023；Zhao等，2024）。为处理长时程下不断扩展的外部上下文，引入了自适应管理机制，如A-MEM（Xu等，2025）和MemAgent（Yu等，2025），而结构化方法将历史上下文组织为逻辑感知图以进行复杂推理（Rasmussen等，2025；Zhang等，2025b）。尽管这些方法在各自记忆结构内有效，但通常结构特定，缺乏将情节证据转化为巩固的参数化记忆的显式机制。

基于参数的自适应方法通过将任务特定行为存储在轻量级可训练组件中（同时保持大部分骨干参数冻结）来减少上下文开销。Prefix-Tuning（Li和Liang，2021）优化连续前缀向量，LoRA和QLoRA（Hu等，2021；Dettmers等，2023）注入低秩更新，引导方法使用小的潜在变换控制模型行为（Han等，2024；Zhang等，2025a）。相关工作进一步探索了实例相关的提示生成（Wu等，2022）、超紧凑提示锚点（Liu等，2025）、自更新记忆池（Wang等，2024）以及用于推理的可复用KV缓存（Gupta等，2026）。然而，这些方法通常假设预定义的任务集或固定的自适应结构。UniMem则针对流式设定，通过轻量级路由令牌和专用参数化记忆块将任务识别与任务执行分离。

### 2.2 流式任务内化的参数化记忆

当LLM代理处理流式任务时，管理参数化记忆而不发生*灾难性遗忘*仍然是一个关键挑战（Bidaki等，2025；Chen等，2026）。虽然多任务调优本身会导致知识纠缠，但像LoRA这样的标准模块化技术在顺序吸收新任务模式时会遭受表征干扰。为缓解这种参数冲突，各种架构探索了不同维度的参数隔离来划分任务特定知识。一个显著方向侧重于宏级模块编排，包括在O-LoRA（Wang等，2023）中对独立适配器施加正交子空间约束，或在L2R（Araujo等，2024）中使用动态路由器进行运行时适配器组合。同时，另一个并行研究方向侧重于微级参数操作，要么部署LoRA驱动的混合专家（MoE）网络（如MixLoRA（Li等，2024））在子任务令牌级别划分知识，要么将程序记忆封装到专用令牌槽中（如Progressive Prompts（Razdaibiedina等，2023）和TOKMEM（Wu等，2026））。

**图2：UniMem的架构。左侧面板展示了整体自路由架构，用于将传入查询分配给已知任务记忆单元或新颖性通路。右侧上半部分展示了路由引导的记忆选择与执行，下半部分展示了记忆扩展过程中的情节缓存与参数化巩固。**

然而，大多数现有方法假设预定义的任务集，并依赖手动分配或固定容量的参数结构，难以适应边界无关的流式场景。UniMem通过自路由的情节到参数化生命周期来解决这个问题，其中稀疏查询由检索处理，重复出现的任务被巩固到参数化记忆中。

---

## 3 方法论

在本节中，我们形式化提出的UniMem框架。首先建立问题设定和基础令牌记忆范式（第3.1节）。然后介绍我们的自路由记忆架构，该架构将轻量级路由令牌与高容量任务特定参数化记忆块解耦（第3.2节）。最后，详细描述系统的运行动态，包括从基础记忆初始化到自主任务发现与巩固的两阶段情节到参数化生命周期（第3.3节）。

### 3.1 问题设定与预备知识

我们的框架建立在程序令牌记忆范式（Wu等，2026）之上，该范式将任务特定执行过程压缩为单个令牌嵌入，与冻结的预训练LLM（记为f\_θ）配合使用。为简化起见，我们用每个保留令牌的可训练嵌入e\_k ∈ R^d来表示模型中相应的任务过程。在训练期间，程序令牌被插入输入查询q和目标响应r之间，生成序列化的过程-响应序列：x = (q\_1, ..., q\_{|q|}, e\_k, r\_1, ..., r\_{|r|})。在推理时，查询q通过基于最终隐藏状态h\_q在记忆嵌入上计算分布来路由：

P(e\_k | q) = exp(h\_q^⊤ e\_k) / ∑\_{j=1}^K exp(h\_q^⊤ e\_j)   (1)

虽然作为紧凑的任务标识符有效，但单个令牌嵌入不足以