LifeMem: 为LLM代理赋能终身经验复用

# LifeMem：为LLM智能体实现终身经验复用  
来源：https://arxiv.org/html/2609.12655  

**作者**：  
- 李宇彤（北京理工大学计算机科学技术学院）  
- 苏伟（北京理工大学计算机科学技术学院）  
- 刘泽明（北京航空航天大学计算机科学与工程学院）  
- 车万翔（哈尔滨工业大学社会计算与交互机器人研究中心）  
- 黄海燕（北京理工大学计算机科学技术学院）  
- 王海峰（百度公司）  
- 郭宇航（北京理工大学计算机科学技术学院，*通讯作者*）  
**邮箱**：[[email protected]](mailto:[email protected])、[[email protected]](mailto:[email protected])  

---

###### 摘要  
大型语言模型智能体（LLM智能体）需要在生命周期内通过复用过往经验，持续适应新任务与新环境。然而，现有的基于记忆的智能体难以跨环境迁移可复用经验，且随着经验积累会遭遇灾难性遗忘问题。为应对这些挑战，我们提出了**LifeMem**——一个支持跨环境知识迁移的终身学习框架。在学习阶段，LifeMem根据底层工作流对积累的交互轨迹进行聚类，提取可复用技能；在推理阶段解决新任务时，智能体通过召回相关技能和轨迹来指导行动。为验证方法有效性，我们在10个环境中针对超过13k个任务进行了实验，并新增标注了2k条交互轨迹。结果表明，LifeMem能在终身学习中实现有效经验复用，既能减少已学任务的遗忘，又能提升跨任务迁移能力。进一步分析发现：任务流影响学习效果，而在记忆中整合结构相似的轨迹能提升性能。  
**数据集与代码**：https://github.com/BITHLP/LifeMem  

---

## 1 引言  
追求通用人工智能（AGI）需要智能体能在生命周期内持续适应多样且动态变化的环境[1][2]。因此，基于LLM的智能体需在具身控制、网页导航、工具使用等多个领域实现泛化，而无需依赖环境特定的重构[3][4]。为实现这一目标，智能体必须从新的交互轨迹中学习可复用经验，同时不遗忘已获取的经验[5][6]，这一能力被称为**终身学习**[7][3]。特别是在**跨环境设定**下，交互轨迹来自具有不同动作与观察空间的异构环境，这进一步增加了有效经验复用的难度[3]。  

然而，现有LLM智能体仍难以有效复用过往经验以适应新环境。**基于内部记忆的方法**[8][9]通过对预定义环境的轨迹进行模型微调，限制了泛化能力且训练成本高昂[10][11]。**基于外部记忆的方法**维护经验数据库并检索相关轨迹以指导上下文学习[12]，但在异构环境中经验积累后，它们面临以下挑战：  
(1) **仅轨迹检索**[13]——仅依赖原始轨迹，无法弥合动作空间不匹配，导致泛化能力薄弱；且随着数据库增长，检索准确性下降，引发早期环境的灾难性遗忘。  
(2) **泛化轨迹抽象**[11][14]——直接在无组织记忆池上提炼高层技能，导致无关轨迹引入严重的跨环境噪声。这些噪声化且缺乏代表性的技能过于粗糙，无法指导新任务，从而造成性能下降（图1）。  

为应对这些挑战，我们提出**LifeMem**——一个支持跨环境经验积累与复用的终身学习框架。LifeMem包含两个核心组件：  
(1) **工作流聚类**：根据底层动作工作流（而非表面语义相似性）划分轨迹，避免跨环境检索干扰。  
(2) **技能提炼**：摒弃全局抽象，从每个工作流聚类局部提炼技能，获得不受噪声污染的高代表性技能。  

**推理时**，智能体结合环境对齐的轨迹及相关技能，实现无动作空间干扰的有效经验复用。为验证方法有效性，我们在5种广泛使用的智能体场景[15][16]（具身动作、工具使用、网页浏览、网络搜索与数据分析）中进行实验，覆盖10个环境、超过13k个任务及相关交互轨迹[17]。值得注意的是，针对现有基准数据集中4个缺乏交互轨迹的环境，我们额外标注了超过2k条轨迹作为训练数据。  

实验结果表明，LifeMem在终身学习性能上优于现有方法，主要体现在两方面：  
- 减少对已学任务的遗忘；  
- 更有效地向未见领域进行跨任务迁移。  
进一步分析表明，任务流顺序影响学习结果，而在记忆中整合结构相似的轨迹有助于提升智能体性能。  

我们的贡献可总结如下：  
- 提出**LifeMem**——一种面向异构环境经验复用的新型终身学习框架。通过将轨迹聚类为结构化技能，LifeMem在缓解灾难性遗忘的同时，支持向未见领域的跨任务迁移。  
- 针对现有4个环境缺乏交互轨迹的问题，我们提供了超过2k条新标注轨迹作为训练数据，以支持智能体学习。  
- 通过实验分析，发现任务流顺序影响学习效果，且在记忆中整合结构相似的轨迹有助于提升智能体性能。  

---

## 2 相关工作  
### 2.1 LLM的终身学习  
终身学习使LLM在其运行生命周期内通过整合新知识并保留已获取信息，实现持续自适应学习，从而缓解灾难性遗忘[18]。  
(1) LLM终身学习的研究主要集中于**持续预训练**[19][20]、**微调**[21][22]和**对齐**[23]，这些工作通常在预定义的静态数据集序列上进行。  
(2) LLM智能体终身学习的研究主要关注**单一环境内的经验积累**[4][11]，即智能体在固定状态与动作空间下通过重复交互提升性能。与先前工作不同，我们聚焦于**跨环境的终身经验积累**[3]。在这一设定下，智能体持续整合来自异构环境的交互轨迹，并学习跨领域迁移经验，同时保留先前遭遇的信息。  

### 2.2 LLM智能体的记忆机制  
LLM智能体因有限的上下文窗口依赖记忆机制管理与复用过往经验[24][25]。为此，研究者采用外部向量数据库存储交互轨迹，并基于语义相似性检索相关轨迹以支持上下文学习[26][27][28][13]。然而，它们难以将经验迁移到不同环境或其他分布外任务中[29]。近期工作探索用抽象记忆表示指导智能体规划。但利用对话摘要或知识图谱的框架[25][30]主要针对对话压缩而非工作流复用。尽管AutoSkill[14]和Hermes[^1]等先进方法尝试直接从过往轨迹提炼高层技能，但其在无组织经验池上的全局提取允许无关轨迹作为跨环境噪声，严重削弱了每个技能的代表性。相比之下，我们的方法先将轨迹聚类为结构化工作流，再进行技能提炼，从而获得高代表性技能。  
[^1]: https://github.com/NousResearch/hermes-agent  

---

## 3 前置定义  
考虑一个与可观察环境 $\mathcal{E}=(S,A,\Omega,T)$ 交互的LLM智能体，其中 $S$ 表示环境状态，$A$ 为动作空间，$\Omega$ 为观察空间，$T$ 为转移动力学。在每个时间步 $t$，智能体接收观察 $o_t \in \Omega$ 并选择动作：  
$$a_t = P_\theta(g, M, o_t)$$  
其中 $P_\theta$ 是语言模型策略，$g$ 是自然语言目标，$M$ 是记忆。交互持续至任务终止。任务定义为 $\mathcal{T}^i = \langle \mathcal{E}^i, o_0^i, g^i \rangle$，其中 $\mathcal{E}^i$ 表示第 $i$ 个任务的环境，$o_0^i$ 是初始观察，$g^i$ 是任务目标。解决任务产生轨迹 $\xi^i = \{(o_0,a_0),(o_1,a_1),\ldots,(o_T,a_T)\}$。  

在终身学习中，智能体遇到任务序列 $\{\mathcal{T}^1, \mathcal{T}^2, \ldots, \mathcal{T}^N\}$。在跨环境设定下，任务来自不同环境 $\mathcal{E}$。过往任务收集的轨迹被整合到记忆中：  
$$M^i = M^{i-1} \cup \{\xi^i\}$$  
以指导后续任务求解。目标是利用积累的经验提升新任务性能，同时减轻对先前所学行为的遗忘。  

---

## 4 方法  
**LifeMem框架概览（图2）**：  
- **记忆初始化**：将来自异构环境的交互轨迹分组为结构化工作流聚类。  
- **记忆演化**：新轨迹与现有工作流对齐或初始化新工作流；随着经验积累，工作流聚类自适应细粒度划分，并从中提炼可迁移技能。  
- **推理时**：激活环境对齐的轨迹及其技能，指导智能体行动。  

为实现跨环境终身学习的经验积累与复用，我们将LLM智能体的记忆建模为动态组件——初始化一次、增量更新新经验、推理时查询。  

### 4.1 记忆初始化  
记忆初始化为工作流级聚类集合，作为经验存储的基本单元。每个聚类对应从轨迹中抽象的独立行为工作流。给定初始轨迹集 $\{\xi^0,\ldots,\xi^N\}$，LLM通过识别共性工作流模式将其划分为聚类集合 $C=\{c_1,\ldots,c_M\}$。对每个聚类 $c_i \in C$，从其轨迹生成简洁描述 $d_i$，构成初始记忆。  

### 4.2 记忆演化  
**工作流聚类**：由于不同环境 $\mathcal{E}$ 的轨迹可能在目标语义和动作空间上存在差异，但共享底层工作流，仅按语义相似性组织并不充分。因此，我们通过基于功能工作流对齐的轨迹分配来更新记忆。当新轨迹 $\xi$ 到达时，从记忆中检索其 top-$k$ 相关轨迹并收集对应聚类 $C_\xi$。基于 $\xi$ 和 $C_\xi$，语言模型确定以下操作之一：  
(1) 若 $\xi$ 与现有聚类 $c \in C_\xi$ 对齐，则添加至 $c$ 并更新描述 $d_c$；  
(2) 若 $\xi$ 与 $C_\xi$ 存在偏差，则创建新聚类以容纳它。  

随着经验积累，工作流聚类可能涵盖异构行为，导致特异性下降。为缓解此问题，我们引入基于方向统计中**平均结果长度（MRL）**的几何多样性约束[31]。给定包含 $n$ 条轨迹的聚类 $c$，首先将每条轨迹的嵌入表示归一化为单位向量 $\mathbf{x}_i$（满足 $\|\mathbf{x}_i\|=1$）。方向集中度 $R$ 定义为：  
$$R = \left\| \frac{1}{n} \sum_{i=1}^{n} \mathbf{x}_i \right\|$$  
$R \in [0,1]$ 直接量化结构同质性：$R \to 1$ 表示高冗余（如重复相同模板），较低 $R$ 表示多样化操作行为。据此，聚类 $c$ 将被...