从错误记忆到纠正行动:面向记忆增强智能体的依赖引导回滚修复

arXiv cs.AI 论文

摘要

本文介绍了面向记忆增强智能体的依赖引导回滚修复方法,该方法利用运行时来源信息构建类型化的记忆到行动图,在保留良性状态的同时选择性地撤销错误记忆的影响,并在基准测试中取得了强劲的恢复效果。

arXiv:2608.10502v1 公告类型:新 摘要:持久化记忆使语言模型智能体能够在会话间复用信息,但也使错误得以持久化:一条被污染、过期或归因错误的记录可能改变推理、工具使用、回答以及后续的记忆写入。现有的防御措施主要检测或删除可疑记忆,或修正当前响应。删除源头会让已经传播的论点、行动和派生记忆继续生效,而重置存储或重放完整轨迹则会破坏良性状态并重复不必要的计算。因此,我们提出了 \textbf{失败后记忆恢复:} \textit{给定一次失败的执行和被诊断出的错误记忆,在保留未受影响工作的同时,同时恢复答案和持久化状态。} 我们的 \textbf{依赖引导回滚修复} 从运行时来源构建类型化的记忆到行动图,跟踪显式的下游依赖,保留具有独立可信支持的候选,停用不受支持的记忆状态,并仅选择性重放与答案相关的受影响计算。我们在一个涵盖三个工具使用领域和四种记忆失败类型的 150 例受控基准测试,以及一个从 LongMemEval-V2 改编的 50 例轨迹衍生压力测试上评估了该方法。在受控基准测试上,它实现了 85.3\% 的恢复率,而最佳竞争恢复方法为 77.3\%;它移除了所有已诊断的错误记忆,保留了所有良性记忆,并且仅需选择性重放,LLM 调用成本适中。在改编子集上,它达到了 68.0\% 的恢复率,而次优方法为 54.0\%;同时其声明失效 F1 值最高,为 0.669,对比 0.603。总体而言,这些结果并不意味着在所有情况下的轨迹重建都更优,但表明依赖引导回滚修复在修复错误记忆状态和保留良性记忆的同时,提供了强大的恢复-成本权衡。
查看原文
查看缓存全文

缓存时间: 2026/08/12 08:25

# 从错误记忆到修正行动:面向记忆增强智能体的依赖引导回滚修复

来源:https://arxiv.org/html/2608.10502

Caili Yu, Yiqi Wang\*, Jiaqi Zhang, Yiqun Duan, Mingkai Zheng, Zhangkai Wu, Kaize Shi, Taotao Cai

\*yiqi\.wang\.jennie@gmail\.com

###### 摘要

持久记忆使语言模型智能体能够在多次会话间复用信息,但也使错误变得持久:一条有毒、过时或归属错误的记录可能改变推理、工具使用、回答以及后续的记忆写入。现有防御方法主要检测或删除可疑记忆,或修正当前回应。删除源头会使已经传播的断言、行动和派生记忆仍然活跃;而重置记忆库或重放完整轨迹则会破坏良性状态并重复不必要的计算。因此,我们提出了失败后记忆恢复:给定一次失败的执行和已诊断的错误记忆,在保留未受影响工作的同时恢复答案和持久状态。我们的依赖引导回滚修复从运行时溯源构建类型化的记忆到行动图,追踪显式下游依赖,保留具有独立可信支持的候选,停用无支持的记忆状态,并仅选择性重放与答案相关的受影响计算。我们在一个包含三个工具使用领域和四种记忆故障类型的150例受控基准上评估了该方法,并在从 LongMemEval-V2 改编的50例轨迹派生压力测试上进行了评估。在受控基准上,该方法实现了85.3%的恢复率,而最佳竞争恢复方法为77.3%;它移除了所有已诊断的错误记忆,保留了所有良性记忆,并且仅需选择性重放,LLM 调用成本适中。在改编子集上,它达到了68.0%的恢复率,而次优方法为54.0%,同时取得了最高的断言失效 F1(0.669 对 0.603)。总体而言,结果并不意味着在轨迹重建上全面更优,而是表明依赖引导回滚修复在修复错误记忆状态和保留良性记忆的同时,提供了良好的恢复-成本权衡。

## 1 引言

持久记忆使语言模型智能体能够在多次会话中携带偏好、观察和经验,从而实现单靠当前提示无法支持的个人化和长程行为([Park et al. 2023](https://arxiv.org/html/2608.10502#bib.bib1);[Packer et al. 2023](https://arxiv.org/html/2608.10502#bib.bib2);[Zhang et al. 2025](https://arxiv.org/html/2608.10502#bib.bib3);[Zhong et al. 2024](https://arxiv.org/html/2608.10502#bib.bib4);[Wang et al. 2023](https://arxiv.org/html/2608.10502#bib.bib5))。同样的持久性改变了失败的范围。一条有毒、过时、归属错误或漂移的记录可能被检索为上下文,支持不正确的断言,改变工具计划和回答,并被整合到新记忆中([Xiong et al. 2026](https://arxiv.org/html/2608.10502#bib.bib6);[Chao et al. 2026](https://arxiv.org/html/2608.10502#bib.bib7);[Chen et al. 2025](https://arxiv.org/html/2608.10502#bib.bib8))。因此,单个局部故障可能变成一整套持久的下游错误,并在原始回合之后再次出现。这种传播造成了图1所示的实际恢复问题。仅更正答案会使故障源和被污染的派生内容继续影响后续回合。在内容已被复制到断言、观察或派生记忆之后,仅删除源头也不够。在另一个极端,清除记忆库或重放完整轨迹会移除有效的个人化信息,并重复模型和工具调用。因此,有用的恢复必须移除不支持的后果,保留仍具有独立证据的状态,并且只重新计算修正后答案所需的内容。

图1:一条错误记忆产生下游状态。一条有毒的偏好会改变断言、工具计划、回答和一条派生记忆。修复必须移除不支持的派生内容,保留未受影响的状态,并重放与答案相关的路径。

现有研究主要在两个边界之一上运作。记忆防御方法审计、过滤或删除可疑记录,而回答级反思则修正不成功的输出([Tan et al. 2026](https://arxiv.org/html/2608.10502#bib.bib10);[Zou et al. 2025](https://arxiv.org/html/2608.10502#bib.bib11);[Shinn et al. 2023](https://arxiv.org/html/2608.10502#bib.bib9))。这些干预提高了检测或局部修正的能力,但并未同时修复持久存储和已被故障影响的执行状态。这一空白引出了我们的核心前提:*移除故障并不等于恢复状态*。因此,我们提出了失败后记忆恢复。输入是用户会话、活动记忆库、失败执行轨迹,以及由上游检测器提供的已诊断错误记忆;输出是修正后的回答、修复后的轨迹和修复后的活动记忆库。诊断本身不在本工作的范围内,运行时必须记录连接记忆读取、断言、计划、行动、观察、回答和变更的溯源信息。在这些假设下,研究问题变得精确:*一旦错误记忆被消费,哪些后果应被无效化,哪些仍具有独立合理性,哪些必须重新生成?* 我们提出依赖引导回滚修复。该方法首先构建类型化的记忆到行动图,并从每个已诊断故障追踪显式下游数据流。由于仅凭可达性会过度无效化,它保留其完整内容或决策具有独立可信支持的候选。然后,一个确定性规划器删除已诊断故障,隔离不支持的派生状态,使不支持的轨迹输出无效,并选择与答案相关的受影响计算。最后,执行器复用安全上下文,并在修复后的记忆库下按轨迹顺序重放所选步骤。该设计直接结合了上述三个要求:污染追踪、证据感知的保留和选择性重算。我们在涵盖购物、旅行和客户支持工具、包含四种记忆故障类型的150例受控案例,以及从 LongMemEval-V2 改编的50例程序化轨迹(作为多重故障压力测试)上评估了回答恢复、状态修复、保留和成本([Wu et al. 2026](https://arxiv.org/html/2608.10502#bib.bib35))。我们的方法在两种设置中都获得了最高的即时恢复率,尽管在受控基准上并未实现最低的复发率。总体而言,结果并不意味着在轨迹重建上全面更优,而是表明依赖引导回滚修复在恢复率、修复成本、错误状态清理和良性状态保留之间提供了良好的平衡。我们的主要贡献总结如下:

- 我们提出了失败后记忆恢复,该问题在错误记忆已经影响智能体执行后,同时考虑回答恢复、下游状态修复、良性状态保留和修复成本。
- 我们提出了一种依赖引导回滚修复方法,结合显式数据流追踪、独立支持检查、规则引导规划和与答案相关的重放。
- 我们引入了一个150例受控基准和一个50例轨迹派生压力测试,展示了最高的即时恢复率和良好的恢复-成本权衡。

## 2 相关工作

#### 智能体记忆与故障检测。

持久记忆系统支持跨会话个人化和经验复用([Park et al. 2023](https://arxiv.org/html/2608.10502#bib.bib1);[Packer et al. 2023](https://arxiv.org/html/2608.10502#bib.bib2);[Xu et al. 2026](https://arxiv.org/html/2608.10502#bib.bib13);[Du et al. 2026](https://arxiv.org/html/2608.10502#bib.bib15);[Zhao et al. 2026b](https://arxiv.org/html/2608.10502#bib.bib14))。近期工作研究了错误传播、幻觉更新、过时状态、检索或记忆投毒,以及事后审计([Xiong et al. 2026](https://arxiv.org/html/2608.10502#bib.bib6);[Chen et al. 2025](https://arxiv.org/html/2608.10502#bib.bib8);[Chao et al. 2026](https://arxiv.org/html/2608.10502#bib.bib7);[Zou et al. 2025](https://arxiv.org/html/2608.10502#bib.bib11);[Chen et al. 2024](https://arxiv.org/html/2608.10502#bib.bib32);[Tan et al. 2026](https://arxiv.org/html/2608.10502#bib.bib10))。这些方法主要改善什么进入记忆、什么保留在记忆中,或什么被从记忆中检索。我们则考虑已影响执行的已诊断故障。

#### 记忆级联修复。

MemoRepair 是最接近的记忆侧恢复框架:它撤回无效的派生内容,从保留的支持中重建后继内容,并使用前驱闭包进行成本感知的重新发布([Zhao et al. 2026a](https://arxiv.org/html/2608.10502#bib.bib36))。我们的设置与之互补,但执行范围更广。它同时修复持久记忆和包含断言、计划、工具行动、观察和回答的异构智能体轨迹;回答相关性决定哪些被无效化的执行节点需要重放。我们并不声称取代 MemoRepair 的发布契约或故障检测器。相反,我们研究的是,一旦已诊断的记忆故障进入智能体执行,如何进行端到端的回答和状态恢复。

#### 溯源、切片与回滚。

前向依赖追踪和选择性重算借鉴了程序切片和动态切片([Weiser 1984](https://arxiv.org/html/2608.10502#bib.bib37);[Agrawal and Horgan 1990](https://arxiv.org/html/2608.10502#bib.bib38))、数据库溯源([Cheney et al. 2009](https://arxiv.org/html/2608.10502#bib.bib39))以及事务回滚([Mohan et al. 1992](https://arxiv.org/html/2608.10502#bib.bib40))。我们并不声称图可达性或逻辑撤销是新的。我们的贡献在于将其适配到类型化的记忆-执行图,其中有效性取决于独立证据支持,而重放会产生模型和工具成本。这一范围比新的通用恢复理论更窄,但比仅修复记忆记录或最终回答更广。

#### 轨迹调试与回答修复。

ReAct 暴露了推理和工具使用结构,而 Reflexion 和 Self-Refine 则修正不成功的行为或输出([Yao et al. 2022](https://arxiv.org/html/2608.10502#bib.bib20);[Shinn et al. 2023](https://arxiv.org/html/2608.10502#bib.bib9);[Madaan et al. 2023](https://arxiv.org/html/2608.10502#bib.bib33))。AgentTrace 从日志中重建因果图以进行根因定位([Wang 2026](https://arxiv.org/html/2608.10502#bib.bib34))。这些思想启发了轨迹感知的恢复,但仅靠定位或回答修正不必停用受污染的持久状态。因此,我们的依赖图跨越记忆生命周期和执行轨迹,其回滚计划将记忆处置与选择性重放结合起来。

## 3 依赖引导回滚修复

图2:依赖引导回滚修复的概述。从一组已诊断的错误记忆开始,该方法构建记忆到行动的依赖图,追踪候选下游效应,过滤具有独立可信支持的候选,生成规则引导的回滚计划,并选择性重放与答案相关的受影响计算,以产生修正后的最终回答和修复后的活动记忆库。

如图2所示,我们提出依赖引导回滚修复作为我们的方法。它分为五个阶段:图构建、受影响子图追踪、独立支持检查、规则引导回滚规划和选择性重放。这里的回滚是指修复智能体维护的轨迹和记忆状态。它不能撤销不可逆的外部副作用。因此,重新执行具有副作用的工具需要可重置接口或领域特定的补偿行动。完整模式见附录A,重放提示契约见附录B。

### 3.1 问题设定

设 \mathcal{U}=(u_1,\ldots,u_k) 为用户会话,\mathcal{M} 为活动记忆库,\mathcal{T}=(s_1,\ldots,s_n) 为失败执行轨迹。一个步骤是记忆读取、断言、计划、工具行动、工具观察、回答或记忆变更。输入还包含已诊断的错误记忆 \mathcal{F}\subseteq\mathcal{M}。在修复时,我们的方法只能看到 (\mathcal{U},\mathcal{M},\mathcal{T},\mathcal{F})、可用工具和运行时溯源;干净的轨迹和评估标签被扣留。

### 3.2 依赖图构建

我们从用户输入 \mathcal{U}、执行步骤 \mathcal{T} 和记忆记录 \mathcal{M} 实例化一个带类型的有向异构图 \mathcal{G}=(\mathcal{V},\mathcal{E})。构建过程与故障无关:它记录执行数据流和记忆生命周期结构,而不使用 \mathcal{F} 或任何基准标注。节点集划分为 \mathcal{V}=\mathcal{V}_{\mathcal{U}}\cup\mathcal{V}_{\mathcal{T}}\cup\mathcal{V}_{\mathcal{M}},包含用户输入、类型化执行步骤和持久记忆记录;在图表达式中使用记忆集合时,我们将每条记忆记录与 \mathcal{V}_{\mathcal{M}} 中的节点对应。我们根据这些字段确定性地实例化边,而不是推断边。边从先决条件或源指向其依赖项。它们编码 initiate、cite、support、produce、delete、update、consolidate 关系;以及记忆的 supersede、derive 关系。时序 chain 边保留执行顺序。一个节点对可能携带多个标签。附录A给出了完整的边语义。每条轨迹记录存储记忆、断言、观察的标识符,以及工具调用标识符和记忆生命周期元数据。该溯源由智能体运行时发出,因此该方法预设了一个被插桩的智能体。从原始自然语言日志推断缺失的支持边或生命周期边不在本工作范围内;不完整的溯源可能导致污染追踪不足,而虚假边可能导致不必要的无效化。对于传播,我们使用

\mathcal{E}_{\mathrm{prop}}= \mathcal{E}_{\mathrm{initiate}}\cup\mathcal{E}_{\mathrm{cite}}\cup\mathcal{E}_{\mathrm{support}}\cup\mathcal{E}_{\mathrm{produce}}\cup\mathcal{E}_{\mathrm{delete}}\cup\mathcal{E}_{\mathrm{update}}\cup\mathcal{E}_{\mathrm{consolidate}}\cup\mathcal{E}_{\mathrm{supersede}}\cup\mathcal{E}_{\mathrm{derive}}.

纯 chain 边被排除:出现得更晚并不是污染的证据。这一区分很重要,因为连续后缀可能包含无关的有效工作。

### 3.3 故障溯源与受影响子图追踪

给定 \mathcal{F},我们识别可能依赖这些故障的状态。该阶段不使用诸如 poisoned、stale、wrong-user 或 summary-drift 等故障类型标签;所有已诊断故障都通过图结构和记忆溯源统一处理。对于每个 m\in\mathcal{F},我们使用故障溯源来识别可达性种子 r(m)。我们检查 delete、update 和 consolidate 关系以恢复谱系并识别变更。如果存在失败的变更,它就成为种子;否则,我们沿 produce 关系回溯到产生步骤。如果 m 不是在此次记录期间创建的

相似文章

Causal Episodic Memory for Feedback-Driven Agent Repair

arXiv cs.CL

This paper introduces MERIT, a training-free agent that uses causal episodic memory of past repair outcomes to improve subsequent Text-to-SQL generations, boosting execution accuracy on Spider and BIRD benchmarks.

诚实说谎:理解反射性代理中的记忆虚构

Hugging Face Daily Papers

本文识别了Reflexion风格代理中的记忆虚构现象,即代理存储了错误的任务解释,并在环境重置后持续坚持错误。作者引入了反射重复率(RRR)指标来检测该现象,并提出了一种缓解方法,用程序化失败信号提取替代开放式自我诊断。