MemGuard: 用于LLM智能体记忆治理的持久化验证器信号

# MemGuard：为LLM智能体记忆治理持久化验证器信号
来源：https://arxiv.org/html/2608.21867

**作者**：
- **Guangyuan Dong**  
  附属机构：新加坡国立大学  
  附属机构：同等贡献  
  附属机构：通讯作者  
- **He Liang**  
  附属机构：中国科学院上海光学精密机械研究所
- **Zijing Zhang**  
  附属机构：北京大学
- **Jiachen Luo**  
  附属机构：慕尼黑工业大学  
  附属机构：伦敦玛丽女王大学
- **Chuang Liu**  
  附属机构：武汉大学
- **Chao Xue**  
  附属机构：新南威尔士大学
- **Hao Tang**  
  附属机构：北京大学  
  附属机构：通讯作者

###### 摘要
LLM智能体正从单一提示使用转向长任务流，其中可复用的内存成为终端、软件工程和网络任务的核心能力。此类内存仅在存储经验在数百次交互中保持可靠时才有价值，但两种故障模式在实践中破坏了这一假设。第一种是*不可靠准入*：失败的轨迹、偶然的成功和误导性观察因其看似相关而进入内存，进而误导后续决策。第二种是*记忆漂移*：长期运行的数据库累积了重复、过时和冲突的记录，仅靠检索无法修复。

MemGuard的关键区别在于将验证器输出视为持久化的生命周期元数据，而非一次性过滤器。它将多标准分数-标记验证转换为奖励、置信度、标签和不确定性描述符，这些描述符在激活前附加到每个候选内存，并在检索、冲突解决、摘要和归档期间重用。

我们在Terminal-Bench 2.0、SWE-Bench Verified、WebArena和Mind2Web上，使用四个骨干网络评估MemGuard，并与四个内存基线以及一个在匹配运行时预算下的仅验证器控制组进行比较。在五个随机种子下平均，MemGuard在所有16种骨干-基准设置中实现了最佳成功率和最低平均步数，相比我们评估的内存方法中最强的先前基线ReasoningBank，在WebArena上最大提升7.9个成功率点，在Mind2Web上提升5.6个步-成功率点，在终端和软件工程基准上提升2.4-3.5个点。

代码已在以下位置提供：https://github.com/whyyyyy123/MemGuard

## 1 引言

（图注：先前的经验内存系统如Synapse<sup>41</sup> (<https://arxiv.org/html/2608.21867#bib.bib13>)、AWM<sup>28</sup> (<https://arxiv.org/html/2608.21867#bib.bib14>)和ReasoningBank<sup>18</sup> (<https://arxiv.org/html/2608.21867#bib.bib15>)与MemGuard的比较。MemGuard持久化验证器派生的描述符，以治理内存准入、生命周期更新、质量感知检索和故障防护注入。）

LLM智能体正从单一提示使用转向扩展任务序列：软件工程智能体检查代码库、编辑代码并运行测试；网络智能体导航动态网站并执行多步操作；终端智能体在命令行上规划、执行和恢复。在这些设置中，单个上下文窗口无法保留所有有用的先前经验，因此生产部署越来越依赖于智能体内存系统，该系统存储轨迹、反思、工作流或推理提示以供后续重用。

这种内存的质量直接决定了智能体是随着经验积累变得更可靠，还是其行为随时间不可预测地退化。

两种故障模式阻碍了智能体内存的默认可靠性。首先是*不可靠准入*：交互式任务经常产生失败的轨迹、偶然的成功、误导性的网络观察、无效的补丁和过时的命令，只要它们看起来相关，其中任何一种都会被蒸馏到内存中——例如，一个网络智能体学习到“在过滤管理员表格后编辑第一行”，那么每当后续表格排序不同时，它就会编辑错误的行。其次是*记忆漂移*：一旦数据库跨越许多任务增长，它就会累积重复、冲突、过时和过度泛化的记录，这些记录在其假设停止成立后很长时间仍可被检索到——例如，来自旧API版本的工具使用提示停留在前k名池中，并为每个表面上相似的查询重新注入。

这些故障模式要求两个针对仅检索所留下的空白的设计原则。在存储记忆之前，系统必须判断一个轨迹是否成功、有证据支持、可执行且可泛化。它还必须将失败的经验存储为防止重复错误的约束，而非操作方案。在存储后，内存不能保持静态的检索索引：不确定的记录必须保持临时状态，弱记录必须降低权重，重复项必须合并，冲突必须解决，过时的条目必须在有限的主动内存预算内被摘要或归档。

因此，核心问题不是LLM验证器能否一次性筛选记忆，而是验证器证据能否在整个内存生命周期中作为控制信号持久化。

我们在**MemGuard**中实例化了这些原则，这是一个验证器引导的内存治理框架，其贡献包括：
(i) **验证器引导准入**。MemGuard将轨迹验证分解为多个标准，从分数-标记分布和重复视图中估计奖励，并在激活前为每个候选附加持久描述符$d_m = (R_m, c_m, \ell_m, \nu_m)$，使得低质量经验被拒绝、保持临时状态或路由到故障防护池。
(ii) **结构化内存治理**。每条记录携带生命周期状态、质量、置信度、使用统计和冲突链接，且$d_m$在记录的整个生命周期中继续调控检索、冲突解决、摘要和归档——将内存库转变为生命周期管理对象，而非仅追加的索引。
(iii) **全面评估**。我们在四个骨干网络（Qwen-3.5-Flash, Qwen-3.5-Plus, Gemini-3-Flash, Gemini-3.1-Pro）上评估MemGuard，涵盖Terminal-Bench 2.0、SWE-Bench Verified、WebArena和Mind2Web，与四个内存基线（无内存、Synapse、AWM、ReasoningBank）以及一个仅验证器控制组进行比较，在匹配的任务顺序、步预算、检索预算和解码设置下；MemGuard在每个骨干-基准设置中均实现了最佳成功率指标，在WebArena上相比我们评估的内存方法中最强的先前基线最多提升7.9个成功率点，在Mind2Web上最多提升5.6个步-成功率点。仅验证器控制组隔离了治理元数据：它在大多数单元格中通过接受更好的候选而优于ReasoningBank，但在每个基准-骨干设置中均不及MemGuard，表明收益来自于*持久化*验证器信号，而非一次性过滤。

（图注：MemGuard概览。MemGuard将验证器信号转换为附加到内存记录的持久描述符，然后使用它们在任务流中治理准入、生命周期更新、检索和故障防护注入。）

## 2 相关工作

### 2.1 LLM智能体的经验内存
智能体内存系统在存储内容和存储信息何时影响后续决策上有所不同。早期系统存储观察、对话事实或用于回忆的上下文层级<sup>20</sup> (<https://arxiv.org/html/2608.21867#bib.bib1>); <sup>19</sup> (<https://arxiv.org/html/2608.21867#bib.bib7>)；MemoryBank增加了时间感知遗忘<sup>42</sup> (<https://arxiv.org/html/2608.21867#bib.bib8>)，MemoryOS将存储、更新、检索和响应生成分离<sup>9</sup> (<https://arxiv.org/html/2608.21867#bib.bib9>)。这些系统建立了持久内存，但其主要单位是对话或上下文信息，而非必须在环境交互后判断正确性的任务级经验。

任务级经验内存通过反思、技能、工作流或推理策略将轨迹转换为可复用行为。Reflexion和ExpeL存储先前尝试的口头反馈或提取的见解<sup>22</sup> (<https://arxiv.org/html/2608.21867#bib.bib10>); <sup>39</sup> (<https://arxiv.org/html/2608.21867#bib.bib11>)；Voyager从成功行为中构建具身技能库<sup>25</sup> (<https://arxiv.org/html/2608.21867#bib.bib12>)。Synapse检索计算机控制轨迹作为示例<sup>41</sup> (<https://arxiv.org/html/2608.21867#bib.bib13>)，AWM从成功的网络轨迹中归纳工作流记忆<sup>28</sup> (<https://arxiv.org/html/2608.21867#bib.bib14>)，ReasoningBank将成功和失败的轨迹抽象为更高级的推理策略<sup>18</sup> (<https://arxiv.org/html/2608.21867#bib.bib15>)。MemGuard将关注点从“记什么”转移到“记忆项应如何准入、加权、修订和退役”。

### 2.2 验证器引导选择和监督
验证器引导方法使用判断信号来改进当前输出、推理路径或轨迹。先前的工作训练或提示验证器来选择可靠答案<sup>2</sup> (<https://arxiv.org/html/2608.21867#bib.bib16>); <sup>29</sup> (<https://arxiv.org/html/2608.21867#bib.bib17>)，使用自我或工具反馈进行修复<sup>14</sup> (<https://arxiv.org/html/2608.21867#bib.bib18>); <sup>1</sup> (<https://arxiv.org/html/2608.21867#bib.bib19>)，训练评论家模型<sup>27</sup> (<https://arxiv.org/html/2608.21867#bib.bib20>)，并分析LLM作为法官的行为<sup>40</sup> (<https://arxiv.org/html/2608.21867#bib.bib21>)。补充工作研究了不完全微调和不确定性感知奖励建模<sup>35</sup> (<https://arxiv.org/html/2608.21867#bib.bib2>); <sup>34</sup> (<https://arxiv.org/html/2608.21867#bib.bib3>)、问题校准<sup>32</sup> (<https://arxiv.org/html/2608.21867#bib.bib4>)和语义表示<sup>33</sup> (<https://arxiv.org/html/2608.21867#bib.bib5>); <sup>31</sup> (<https://arxiv.org/html/2608.21867#bib.bib6>)。在此范式中，验证器通常充当当前情节的选择器或评论家。最近的工作通过过程奖励模型、自动过程监督、奖励引导搜索和生成奖励建模来构建验证器信号<sup>12</sup> (<https://arxiv.org/html/2608.21867#bib.bib22>); <sup>26</sup> (<https://arxiv.org/html/2608.21867#bib.bib23>); <sup>36</sup> (<https://arxiv.org/html/2608.21867#bib.bib24>); <sup>38</sup> (<https://arxiv.org/html/2608.21867#bib.bib25>)。

LLM作为验证器<sup>10</sup> (<https://arxiv.org/html/2608.21867#bib.bib26>)将轨迹验证分解为多个标准和重复视图，用于一次性选择。MemGuard采用这种评分方式，从分数-标记分布中推导置信度和不确定性，并将$d_m = (R_m, c_m, \ell_m, \nu_m)$与每条记录一起存储，使其能够调控检索、冲突解决、摘要和归档。其贡献不是新的验证器，而是持久化的验证器派生治理元数据。

### 2.3 内存治理和可靠重用
可靠的长期重用不仅仅需要检索语义相似的项目。RAG从非参数索引检索外部文档<sup>11</sup> (<https://arxiv.org/html/2608.21867#bib.bib27>)，知识编辑改变模型参数内的事实关联<sup>15</sup> (<https://arxiv.org/html/2608.21867#bib.bib28>); <sup>16</sup> (<https://arxiv.org/html/2608.21867#bib.bib29>)；而MemGuard保持骨干模型固定，治理一个外部生成的经验库。这一区别很重要，因为一个智能体内存可能相关且可读，但如果它来自偶然的成功、过时的环境状态或错误归因的失败，则可能是有害的。近期研究表明，内存管理影响智能体可靠性。MemBench评估内存的有效性、效率和容量<sup>23</sup> (<https://arxiv.org/html/2608.21867#bib.bib30>)；HiAgent减少冗长的长期历史<sup>7</sup> (<https://arxiv.org/html/2608.21867#bib.bib31>); <sup>30</sup> (<https://arxiv.org/html/2608.21867#bib.bib32>)识别经验跟随行为；<sup>24</sup> (<https://arxiv.org/html/2608.21867#bib.bib33>)显示了隐私风险。补充性提案解决了长期记忆中的状态演化归因、长期日志的贡献感知保留以及多智能体系统中的语义传播控制<sup>37</sup> (<https://arxiv.org/html/2608.21867#bib.bib41>); <sup>13</sup> (<https://arxiv.org/html/2608.21867#bib.bib42>); <sup>3</sup> (<https://arxiv.org/html/2608.21867#bib.bib43>)。

MemGuard通过验证器引导准入、质量感知检索、去重、冲突解决、摘要和归档来解决此问题的经验治理方面。Reflexion将先前尝试转化为附加的口头反思，Synapse检索先前的计算机控制轨迹作为示例，MemoryOS将对话内存组织为存储、更新、检索和响应层级。这些系统使内存持久化，但其写入时反馈或更新信号不是一等生命周期字段，无法继续治理后续检索、冲突处理、摘要和退役。基于验证器的系统解决了一个互补的问题：它们为当前答案、推理路径、轨迹或候选集评分或选择。例如，LLM作为验证器<sup>10</sup> (<https://arxiv.org/html/2608.21867#bib.bib26>)通过多标准、重复验证估计当前决策情节的轨迹奖励。MemGuard通过使$d_m = (R_m, c_m, \ell_m, \nu_m)$成为持久生命周期元数据将这两条线路联系起来：该描述符在内存写入后调整检索分数、阻止风险注入、优先处理冲突解决，并控制摘要或归档。

## 3 方法

### 3.1 概述
MemGuard是一个用于LLM智能体的长期经验内存系统。给定任务流$\mathcal{X} = \{x_1, \ldots, x_T\}$，智能体在步骤$t$可以访问当前任务、基础工具环境和先前的内存库$\mathcal{M}_{t-1}$，但无法访问未来任务或人工标注的反馈。MemGuard从$\mathcal{M}_{t-1}$中检索一小部分可靠记忆，将其渲染为紧凑的内存块，并将该块注入智能体上下文。在智能体完成后，MemGuard记录轨迹$\tau_t$、最终答案或补丁$y_t$和执行状态$e_t$。验证器对轨迹进行评分，记忆归纳模块提取候选经验。然后治理模块决定是丢弃、激活、合并、替换、摘要还是归档这些候选，生成$\mathcal{M}_t$。

与存储完整轨迹的系统不同，MemGuard将嘈杂的交互历史蒸馏为紧凑、可验证的单元。它移除特定于实例的细节，保留可转移的分解模式、环境观察、工具使用规则和失败避免原则<sup>18</sup> (<https://arxiv.org/html/2608.21867#bib.bib15>)，使智能体能够从成功和失败中学习。关键设计选择是将验证器输出作为内存元数据持久化，而非仅用于一次性接受决策。每条内存都携带验证器描述符$d_m = (R_m, c_m, \ell_m, \nu_m)$，其中$R_m$表示轨迹奖励，$c_m$表示置信度，$\ell_m$是验证器标签，$\nu_m$记录验证时间。这与仅验证器过滤器不同：验证器决策在准入后不会被丢弃，而是附加到记录上，并改变后续检索、合并、冲突解决、摘要和归档。准入、检索、冲突处理、摘要和归档都是内存内容和$d_m$的函数。

表1：第3节 (<https://arxiv.org/html/2608.21867#S3>) 中使用的符号。

算法1：MemGuard更新循环。1：任务$x_t$, 内存库$\mathcal{M}_{t-1}$。