Experience Memory Graph: 面向Agent的One-Shot错误纠正

# Experience Memory Graph: One-Shot Error Correction for Agents
来源：https://arxiv.org/html/2607.13884
Wenjun Wang, Yuchen Fang  
电子科技大学，成都，中国  
[email protected] (https://arxiv.org/html/2607.13884v1/mailto:[email protected]),  
Fengrui Liu  
电子科技大学，成都，中国  
[email protected] (https://arxiv.org/html/2607.13884v1/mailto:[email protected]),  
Zibo Liang  
电子科技大学，成都，中国  
[email protected] (https://arxiv.org/html/2607.13884v1/mailto:[email protected])  
以及  
Kai Zheng  
电子科技大学，成都，中国  
[email protected] (https://arxiv.org/html/2607.13884v1/mailto:[email protected])

\(2027\)

###### 摘要

大型语言模型（LLM）智能体通过生成状态、动作和观察的序列轨迹，在自主决策方面展现了卓越的能力。然而，在复杂的长时域任务中，这些智能体经常出现累积错误，且难以从失败中恢复。现有的自我纠正机制依赖于基于提示的反思，这种方法本质上较脆弱，由于迭代的试错循环导致高昂的时间和API成本，并且产生的任务特定记忆可能难以泛化到新场景。为解决这一问题，我们提出了Experience Memory Graph (EMG)，一个将智能体失败恢复重新表述为图匹配问题的框架。在训练时，我们将失败的探索轨迹和成功的专家轨迹都转换为有向动作决策图。通过匹配这些图，我们提取公共子图（成功工作流）和显式指示如何纠正失败的图编辑路径（例如，在给定观察下哪些动作应添加、删除或重新标记），并将其存储在具有任务内节点和跨任务边的记忆图中。在测试时，EMG检索相关洞察，并在一次无循环执行中引导智能体。在ALFWorld和ScienceWorld上的实验表明，EMG在成功率和平均奖励上持续优于最先进的反思基线，且无需测试时的试错。

大型语言模型，智能体，智能体记忆

††期刊年份：2027††会议：第33届SIGKDD知识发现与数据挖掘会议；2027年8月1–5日；美国圣何塞。††书标题：第33届SIGKDD知识发现与数据挖掘会议，2027年8月1–5日，2027年，美国圣何塞。††doi:10.1145/......††isbn:......††ccs：计算方法 人工智能

## 1. 引言

大型语言模型（LLM）已从被动的文本助手演变为具有规划、记忆和工具使用能力的自主智能体，实现了与环境的闭环交互（Xuet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib35)；Fanget al., 2026 (https://arxiv.org/html/2607.13884#bib.bib36)）。这种架构在复杂领域（如网页导航、多步数学推理和自动化软件工程）中展现了强大的零样本和少样本性能（Liet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib1)；Weiet al., 2025 (https://arxiv.org/html/2607.13884#bib.bib2)；Reddyet al., 2025 (https://arxiv.org/html/2607.13884#bib.bib3)）。随着智能体迭代执行，它们生成长时域轨迹——状态、动作和观察的序列结构。这些轨迹不仅是简单的日志，还包含丰富的、可重用的经验。通过系统性地从过往轨迹中提取成功工作流和失败模式，智能体可以构建经验记忆，帮助避免重复错误，并在后续尝试中提高任务成功率（Huet al., 2025 (https://arxiv.org/html/2607.13884#bib.bib4)；Miet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib38)）。

为了从交互轨迹中构建经验记忆，早期方法仅依赖于从成功执行中提取工作流（Wanget al., 2025b (https://arxiv.org/html/2607.13884#bib.bib5)；Zhenget al., 2024 (https://arxiv.org/html/2607.13884#bib.bib18)）。后续方法逐渐利用失败轨迹来增强学习。一些研究专注于隔离决定性的错误动作或进行失败信用分配（Zhanget al., 2025 (https://arxiv.org/html/2607.13884#bib.bib6)；Zhenget al., 2026 (https://arxiv.org/html/2607.13884#bib.bib7)；Zhuet al., 2025 (https://arxiv.org/html/2607.13884#bib.bib8)），而另一些则通过主动纠正失败轨迹以实现任务成功来扩展这一范式（Ouyanget al., 2025 (https://arxiv.org/html/2607.13884#bib.bib9)；Huanget al., 2025 (https://arxiv.org/html/2607.13884#bib.bib10)；Kimet al., 2025 (https://arxiv.org/html/2607.13884#bib.bib11)；Fanget al., 2025 (https://arxiv.org/html/2607.13884#bib.bib12)；Geet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib13)；Xiaet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib14)；Gaoet al., 2025 (https://arxiv.org/html/2607.13884#bib.bib15)；Kruengkrai and Yoshino, 2025 (https://arxiv.org/html/2607.13884#bib.bib16)；Zhanget al., 2026a (https://arxiv.org/html/2607.13884#bib.bib20)；Yaoet al., 2024 (https://arxiv.org/html/2607.13884#bib.bib22)；Yanget al., 2025 (https://arxiv.org/html/2607.13884#bib.bib24)；Shaoe al., 2026 (https://arxiv.org/html/2607.13884#bib.bib37)；Yaoet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib39)）。通常，这些方法促使LLM反思失败的根本原因——具体来说，识别出错误动作并假设一个纠正动作。然后，模型基于这种精炼的记忆重放任务，从而构成一个迭代的反思-重放机制，如图1(a)所示。虽然先前的方法通过纠正失败轨迹成功构建了记忆并取得了令人印象深刻的性能，但它们存在三个主要局限性。

参见图注
图1. 基于(a)反思-重放循环和(b) Experience Memory Graph的错误纠正差异。现有方法依赖于迭代的测试时反思——智能体在每次失败后重新规划并重新执行，导致高延迟和成本。我们的Experience Memory Graph通过计算将从同一任务配对的训练轨迹中的失败轨迹转换为成功轨迹的图编辑路径，离线提取错误纠正路径，将其提炼为洞察，并存储在记忆图中。在测试时，检索可实现无需循环的一次性执行。

**局限性1：依赖LLM能力。** 这种基于提示的反思范式可能对提示设计敏感，且其效果往往受限于模型本身的能力。例如，较小的LLM通常难以跳出重复的错误循环，这可能阻碍其进行有效的自我反思和纠正。此外，在长时域轨迹中，准确识别失败的根源（可能深埋在长序列的状态和动作中）对这类模型来说可能具有挑战性。

**局限性2：推理成本。** 每次失败后，模型需要反思、调整并重新执行轨迹。这种迭代循环过程会成倍增加延迟和API成本。在商业或实时场景中，这种来回循环可能效率较低，可能限制其在时间敏感型应用中的实用性。

**局限性3：跨任务泛化能力有限。** 大多数现有方法直接在测试集上对个别失败任务进行反思和重新执行，而没有从训练失败中提取可重用的记忆。因此，合成的记忆是任务特定的，导致对未见场景的迁移能力有限。

为了解决这些问题，我们提出了**Experience Memory Graph (EMG)**，一个新颖的框架，将范式从在线LLM反思转变为离线的确定性图计算。EMG将记忆结构化一个综合网络，其中节点存储局部任务知识（单个任务的成功工作流或纠正路径），边捕获跨相似任务的通用动作模式。为了构建经验记忆图中的每个节点，我们将同一训练任务的失败探索轨迹和成功专家轨迹都转换为动作决策图。通过进行图匹配，我们提取**公共子图**（表示正确执行的工作流）并计算**最短图编辑路径**。该路径作为一个确定性的、一次性错误纠正计划——精确指示在特定观察下哪些动作应保留、删除或替换。通过依赖算法精确性而非基于提示的猜测，该机制鲁棒地定位了根本错误，并完全解决了**对LLM能力的过度依赖**（局限性1）。为了构建经验记忆图中的每条边，我们进一步连接语义相似的任务查询（通过top-\(k\)最近邻），并在它们各自的专家轨迹之间进行图匹配。该过程提取存储在边上的**跨任务洞察**，捕获可重用的、高级动作模式，这些模式可跨不同场景迁移。关键的是，整个记忆构建是在训练集上离线进行的。一旦构建完成，这个记忆图可以应用于任何测试集，直接解决了**任务特定记忆的泛化能力有限**的问题（局限性3）。在测试时推理期间，智能体只需检索预先计算好的纠正路径和跨任务洞察，无需任何迭代试错，从而避开了**高推理开销和API成本**（局限性2）。这使得EMG成为实时应用场景中高度高效且准确的解决方案。总之，我们的贡献有三点：

- •我们提出了**Experience Memory Graph (EMG)**，一个新颖的框架，为LLM智能体将经验结构化为关系图。通过将记忆组织为节点（用于局部任务知识）和边（用于通用动作模式），EMG实现了超越传统任务特定记忆库的鲁棒跨任务泛化。
- •我们引入了一种基于图匹配的确定性记忆获取机制来填充EMG。通过提取**公共子图**以保留成功工作流，并计算**最短图编辑路径**用于一次性错误纠正，我们的方法用算法精确性取代了脆弱的、迭代的LLM反思循环，显著降低了API成本和延迟。
- •在具有挑战性的基准测试上的大量实验表明，EMG显著优于最先进的自我反思基线。值得注意的是，EMG在需要复杂推理的长时域任务中表现出卓越的性能和计算效率。

## 2. 相关工作

### 2.1. 经验记忆

经验记忆旨在从历史轨迹中提取可重用的工作流和洞察。早期的经验记忆构建研究主要从成功轨迹中提取可重用工作流（Wanget al., 2025b (https://arxiv.org/html/2607.13884#bib.bib5)；Zhenget al., 2024 (https://arxiv.org/html/2607.13884#bib.bib18)），假设成功执行直接编码了高质量的程序性知识。然而，这类方法忽略了来自失败轨迹的信息信号。

为了利用失败，一些工作专注于失败诊断。AgenTracer（Zhanget al., 2025 (https://arxiv.org/html/2607.13884#bib.bib6)）利用反事实重放和故障注入来扰动轨迹并追溯失败的根因，实现了对特定动作或模块的细粒度归因。Trajectory graph copilot（Zhenget al., 2026 (https://arxiv.org/html/2607.13884#bib.bib7)）将轨迹建模为图结构，并应用图神经网络来捕获时间依赖性和检测易出错的动作模式，从而实现动作前诊断。AgentDebug（Zhuet al., 2025 (https://arxiv.org/html/2607.13884#bib.bib8)）进一步对LLM智能体失败进行了大规模实证研究，对错误类型进行分类并揭示了常见的失败模式。

另一条研究线聚焦于通过反思来纠正失败轨迹（Wanget al., 2025a (https://arxiv.org/html/2607.13884#bib.bib19)；Lianget al., 2025 (https://arxiv.org/html/2607.13884#bib.bib21)）。R2D2（Huanget al., 2025 (https://arxiv.org/html/2607.13884#bib.bib10)）执行步骤级反思以定位第一个错误动作，从该点截断轨迹，并将纠正后的子轨迹连同反思一起存储以供将来重用。ReasoningBank（Ouyanget al., 2025 (https://arxiv.org/html/2607.13884#bib.bib9)）超越了轨迹重放，将经验抽象为可重用的高级推理策略，提高了跨任务的泛化能力。基于这一范式，principles（Kimet al., 2025 (https://arxiv.org/html/2607.13884#bib.bib11)）学习用于主动决策的综合策略记忆，Memp（Fanget al., 2025 (https://arxiv.org/html/2607.13884#bib.bib12)）引入了捕获动作级执行知识的程序性记忆，而一些工作（Geet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib13)；Xiaet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib14), 2025 (https://arxiv.org/html/2607.13884#bib.bib23)）将经验组织成结构化或基于图的技能表示以增强组合性。此外，CDMem（Gaoet al., 2025 (https://arxiv.org/html/2607.13884#bib.bib15)）额外改进了上下文感知的记忆检索，而（Kruengkrai and Yoshino, 2025 (https://arxiv.org/html/2607.13884#bib.bib16)）明确训练智能体从失败尝试中学习序列决策策略。

这些方法通常遵循反思-重放范式，即智能体首先分析失败原因（例如，识别错误动作并提出纠正建议），然后使用精炼的记忆重新执行任务。尽管有效，但它们通常高度依赖反思的质量，并可能受困于低效的迭代纠正或错误传播。

### 2.2. 智能体记忆中的图

最近的研究探索了图记忆机制，以增强LLM智能体中的长期推理和经验重用（Liuet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib43)）。AriGraph（Anokhinet al., 2025 (https://arxiv.org/html/2607.13884#bib.bib40)）构建了一个统一图，整合了语义记忆和情节记忆，用于交互环境中的规划和推理。A-Mem（Xuet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib35)）进一步通过动态链接和重组记忆为互联的知识网络，实现了自主记忆演化。G-Memory（Zhanget al., 2026b (https://arxiv.org/html/2607.13884#bib.bib42)）通过层次化交互和洞察图将基于图的记忆扩展到多智能体设置，促进了跨试验的知识迁移。最近的努力，如SGMem（Wuet al., 2025 (https://arxiv.org/html/2607.13884#bib.bib44)）、GAM（Wuet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib45)）和H-Mem（Yuet al., 2026 (https://arxiv.org/html/2607.13884#bib.bib46)），进一步研究了句子图、层次化图记忆和混合基于图的记忆演化机制，以增强长时域检索和自适应推理能力。

尽管取得了令人鼓舞的进展，现有方法主要关注记忆存储和检索，而可重用高级洞察的提取和可迁移经验关系的建模仍然不足。