面向LLM智能体的层级图记忆:路径级定位与重写

arXiv cs.AI 论文

摘要

本文介绍了HiGram,一种面向LLM智能体的演化式层级图记忆框架,具备路径级定位与协同重写功能,以提高长期推理任务中的检索效率和答案质量。

arXiv:2608.05095v1 公告类型:新 摘要:长期推理智能体需要一种能够随着新事实和外部反馈不断到来而高效且有效更新的记忆。近年来,图记忆被采用以提供多跳检索和推理的结构化组织。然而,现有方法将所有记忆存储在一个平面图中,累积的历史记忆可能引入不相关的上下文,并增加检索时证据选择的成本。此外,它们通常独立更新记忆单元,需要重复的逐单元重写以覆盖相关变化。为了解决这些问题,我们提出了HiGram,一种具有路径级定位和重写的演化式层级图记忆框架。具体而言,我们首先提出了一种层级图记忆,将记忆组织成由上层节点和MemoryUnit组成的从粗到细的架构,从而减少检索过程中不相关信息量。我们进一步提出了基于MicroGraph的路径级定位,利用查询和更新条件化的MicroGraph在重写之前识别支持子图和证据路径。最后,我们提出了一种协同重写方法,联合修订单元内记忆和单元间依赖关系,使有效的依赖结构能够在局部证据路径中更新。在长期对话问答和冲突感知记忆评估基准上的实验表明,我们的方法在答案质量和词元效率方面比基线有显著改进。此外,我们的方法在动态、静态和条件冲突下提高了答案准确性和查询有效证据选择。
查看原文
查看缓存全文

缓存时间: 2026/08/06 07:43

# Hierarchical Graph Memory for LLM Agents with Path-level Localization and Rewrite
Source: https://arxiv.org/html/2608.05095
###### 摘要

长期推理智能体需要一种能够随着新事实和外部反馈不断到来而高效、有效更新的记忆机制。近年来,图记忆被用于为多跳检索和推理提供结构化组织。然而,现有方法将所有记忆存储在扁平图中,且不断累积的历史记忆会引入不相关上下文,增加检索时证据选择的成本。此外,它们通常独立地更新记忆单元,需要重复地进行单元级重写才能覆盖相关变更。为解决这些问题,我们提出了HiGram——一种具有路径级定位与重写的演化式层级图记忆框架。具体而言,我们首先提出一种层级图记忆,将记忆组织为包含上层节点和MemoryUnit的粗到细(coarse-to-fine)架构,从而减少检索过程中的不相关信息量。我们进一步提出基于MicroGraph的路径级定位方法,利用查询和更新条件下的MicroGraph在重写前识别支撑子图和证据路径。最后,我们提出一种协调重写方法,联合修正单元内记忆和单元间依赖,使有效依赖结构能够在局部证据路径内更新。在长期对话问答和冲突感知记忆评估基准上的实验表明,我们的方法在答案质量和token效率上相较基线均有显著提升。此外,在动态、静态和条件冲突下,我们的方法提高了答案准确率和查询有效的证据选择能力。

## 1 引言

长期推理智能体需要记忆机制,能够随着新事实、修正和外部反馈的持续到来而高效、有效地更新。近期的记忆增强系统通过存储对话历史、检索相关经验、压缩先前上下文或维护个性化记忆库,改善了长时程交互能力(Zhong等,2024 (https://arxiv.org/html/2608.05095#bib.bib2);Packer等,2023 (https://arxiv.org/html/2608.05095#bib.bib4);Lee等,2024 (https://arxiv.org/html/2608.05095#bib.bib5);Chhikara等,2025 (https://arxiv.org/html/2608.05095#bib.bib6))。然而,不断演化的记忆带来了新的挑战。系统不仅要检索相关的历史信息,还需要适当地维护其记忆结构,从而确保后续推理能够高效访问可靠证据。

基于图的记忆近年来被用于为实体、关系、事件和时间信息提供结构化组织,支持多跳检索和推理(Xu等,2026 (https://arxiv.org/html/2608.05095#bib.bib3);Rasmussen等,2025 (https://arxiv.org/html/2608.05095#bib.bib7);Chhikara等,2025 (https://arxiv.org/html/2608.05095#bib.bib6))。然而,现有的图记忆方法通常缺乏显式的粗到细组织,难以在记忆维护期间高效定位查询相关的证据区域。随着累积的历史记忆不断增长,在扁平结构上进行检索可能引入大量不相关上下文,从而增加证据选择的成本。此外,这些方法通常独立地更新记忆单元。由于答案通常由相互连接的证据路径而非孤立事实所支持,独立的单元级更新可能遗漏相关证据,并让过时依赖继续参与后续推理。因此,需要重复重写才能覆盖所有相关变更,导致难以承受的token消耗和较低的更新效率。

为了解决这些问题,我们认为现有方法在记忆组织与更新粒度上,与推理所用证据结构的粒度之间存在不匹配。检索是在一个持续扩展的整体图上进行的,而一个答案通常只依赖于少量局部证据。虽然一次更新可能只针对单个记忆单元,但其影响会沿证据路径传播。记忆系统因此应首先定位与查询相关的子图,再根据更新识别受影响的证据路径,并在有界区域内联合修正记忆状态及其依赖关系。这一过程可减少不相关检索和重复重写。

基于这一动机,我们提出了HiGram——一种具有路径级定位与重写的演化式层级图记忆框架。具体而言,我们首先提出一种层级图记忆架构,采用由上层节点和MemoryUnit组成的粗到细结构。上层节点根据主体、对象类别和上下文表示MemoryUnit的抽象,而MemoryUnit则保留细粒度的事实信息和显式依赖。这种组织无需遍历整个图记忆即可减少检索过程中的不相关信息量。我们进一步提出基于MicroGraph的路径级定位方法,用于推理和重写。给定查询和更新,我们首先构造临时MemoryUnit并提取锚点,以定位相关的MicroGraph并构建局部支撑子图。然后,我们识别同时受当前查询和更新影响的证据路径,在任何记忆重写之前确定重写路径。最后,我们提出一种协调重写方法,在局部证据路径内联合修正单元内记忆和单元间依赖。单元内重写根据新更新更新受影响MemoryUnit的内部状态,而单元间重写则重写依赖结构以维持有效的证据连接。通过协调记忆状态更新与依赖重写,该框架能够在避免重复单元级修改的同时实现记忆演化。

我们在长期对话问答基准LoCoMo(Maharana等,2024 (https://arxiv.org/html/2608.05095#bib.bib1))和冲突感知记忆评估基准MemConflict(Tao等,2026 (https://arxiv.org/html/2608.05095#bib.bib8))上评估HiGram。实验结果表明,我们的方法在答案质量和token效率上相较强基线均有显著提升。此外,在动态、静态和条件冲突下,我们的方法提高了答案准确率和查询有效的证据选择能力。我们的贡献如下:

- •我们提出了HiGram,一个层级图记忆框架,将记忆组织为粗到细结构,降低因历史记忆累积导致的不相关上下文和定位成本。
- •我们进一步提出一种基于MicroGraph的路径级定位方法,识别支撑子图和受影响的证据路径,从而确定缩小的显式重写区域。
- •我们还设计了一种协调重写方法,在局部区域内联合修正MemoryUnit的内部状态及其依赖关系。

图1:HiGram概览。我们的方法将记忆组织为层级图结构,其中上层节点连接存储事实信息的MemoryUnit。然后,给定查询和更新,我们的基于MicroGraph的路径级定位模块检索相关记忆MicroGraph以构建支撑子图,并识别受影响的证据路径。最后,协调重写在局部证据路径内更新MemoryUnit状态和依赖结构,以保持记忆更新的一致性。
## 2 相关工作

#### 长期与结构化记忆。

长期记忆已成为跨多会话运行的LLM智能体的关键组成部分。早期方法存储对话历史、可复用经验或压缩记忆(Xu等,2022 (https://arxiv.org/html/2608.05095#bib.bib13);Lu等,2023 (https://arxiv.org/html/2608.05095#bib.bib12);Zhong等,2024 (https://arxiv.org/html/2608.05095#bib.bib2);Wang等,2023a (https://arxiv.org/html/2608.05095#bib.bib10))。后续研究通过层级管理、虚拟上下文扩展和潜在记忆机制来提高记忆可扩展性(Packer等,2023 (https://arxiv.org/html/2608.05095#bib.bib4);Wang等,2023a (https://arxiv.org/html/2608.05095#bib.bib10);Lee等,2024 (https://arxiv.org/html/2608.05095#bib.bib5);Wang等,2024 (https://arxiv.org/html/2608.05095#bib.bib11)),近期方法进一步探索用于长时程推理的多层级组织(Sun和Zeng,2025 (https://arxiv.org/html/2608.05095#bib.bib56);Wu等,2026 (https://arxiv.org/html/2608.05095#bib.bib57);Zhang等,2025 (https://arxiv.org/html/2608.05095#bib.bib58);Kang等,2025 (https://arxiv.org/html/2608.05095#bib.bib59);Li等,2025 (https://arxiv.org/html/2608.05095#bib.bib53))。面向智能体的框架引入了反思、自我改进和演化中的用户画像,以支持长期适应与个性化(Park等,2023 (https://arxiv.org/html/2608.05095#bib.bib14);Shinn等,2023 (https://arxiv.org/html/2608.05095#bib.bib15);Yao等,2023b (https://arxiv.org/html/2608.05095#bib.bib54);Liu等,2023 (https://arxiv.org/html/2608.05095#bib.bib16);Yuan等,2025 (https://arxiv.org/html/2608.05095#bib.bib17))

结构化记忆方法进一步探索基于图和时间架构来组织实体、关系和历史信息(Xu等,2026 (https://arxiv.org/html/2608.05095#bib.bib3);Chhikara等,2025 (https://arxiv.org/html/2608.05095#bib.bib6);Rasmussen等,2025 (https://arxiv.org/html/2608.05095#bib.bib7);Gutiérrez等,2024 (https://arxiv.org/html/2608.05095#bib.bib34);Anokhin等,2025 (https://arxiv.org/html/2608.05095#bib.bib35);Edge等,2024 (https://arxiv.org/html/2608.05095#bib.bib30))。随着记忆增长,在整个记忆图上操作会引入不相关信息,并增加证据定位成本。少数近期和同期工作采用层级图记忆,通过抽象或演化来组织记忆(Wu等,2026 (https://arxiv.org/html/2608.05095#bib.bib57);Zhang等,2025 (https://arxiv.org/html/2608.05095#bib.bib58)),但主要关注记忆整合,而非图证据结构的粗到细定位。相比之下,HiGram通过层级记忆架构将MemoryUnit组织为粗粒度区域,以实现高效记忆访问。

#### 用于推理与记忆维护的证据定位。

近期记忆系统研究如何组织、检索和更新存储信息,以支持长期智能体适应(Zhong等,2024 (https://arxiv.org/html/2608.05095#bib.bib2);Packer等,2023 (https://arxiv.org/html/2608.05095#bib.bib4);Xu等,2026 (https://arxiv.org/html/2608.05095#bib.bib3);Chhikara等,2025 (https://arxiv.org/html/2608.05095#bib.bib6);Kang等,2025 (https://arxiv.org/html/2608.05095#bib.bib59);Li等,2025 (https://arxiv.org/html/2608.05095#bib.bib53))。结构化记忆方法进一步通过基于图的表示来维护时间和个性化信息(Rasmussen等,2025 (https://arxiv.org/html/2608.05095#bib.bib7))。近期研究表明,有效推理需要查询条件下的证据定位,而非简单地扩展上下文(Karpukhin等,2020 (https://arxiv.org/html/2608.05095#bib.bib23);Guu等,2020 (https://arxiv.org/html/2608.05095#bib.bib24);Liu等,2024 (https://arxiv.org/html/2608.05095#bib.bib29);Trivedi等,2023 (https://arxiv.org/html/2608.05095#bib.bib28);Edge等,2024 (https://arxiv.org/html/2608.05095#bib.bib30);Guo等,2025 (https://arxiv.org/html/2608.05095#bib.bib31);Li等,2024 (https://arxiv.org/html/2608.05095#bib.bib32);Sarthi等,2024 (https://arxiv.org/html/2608.05095#bib.bib33);Yao等,2023a (https://arxiv.org/html/2608.05095#bib.bib37);Besta等,2024 (https://arxiv.org/html/2608.05095#bib.bib36))。然而,现有记忆维护方法主要侧重于存储、链接或修正单个记忆单元,而没有在修改前显式识别受影响的证据结构。在演化记忆系统中,新的更新可能影响直接匹配信息之外的多个相互依赖的记忆。HiGram通过引入路径级定位来解决这一局限,它联合考虑查询和更新条件下的证据,以识别受影响的证据路径,并在记忆修正前确定重写区域。

#### 持续记忆更新与冲突感知修正。

在不断演化信息下维持记忆一致性,需要对时间有效性、冲突和历史变化进行建模。时间知识图方法通过时间表示来捕获演化中的事实(Allen,1983 (https://arxiv.org/html/2608.05095#bib.bib41);Trivedi等,2017 (https://arxiv.org/html/2608.05095#bib.bib40);Cai等,2022 (https://arxiv.org/html/2608.05095#bib.bib39);Qin等,2021 (https://arxiv.org/html/2608.05095#bib.bib42)),而近期记忆系统则研究包括存储、更新、整合和保留在内的生命周期管理(Packer等,2023 (https://arxiv.org/html/2608.05095#bib.bib4);Zhong等,2024 (https://arxiv.org/html/2608.05095#bib.bib2);Wang等,2023a (https://arxiv.org/html/2608.05095#bib.bib10), 2024 (https://arxiv.org/html/2608.05095#bib.bib11);Chhikara等,2025 (https://arxiv.org/html/2608.05095#bib.bib6);Rasmussen等,2025 (https://arxiv.org/html/2608.05095#bib.bib7);Kang等,2025 (https://arxiv.org/html/2608.05095#bib.bib59))。持续知识修正和冲突感知记忆研究进一步探究如何在保持一致性的同时纳入新信息(Meng等,2022 (https://arxiv.org/html/2608.05095#bib.bib61), 2023 (https://arxiv.org/html/2608.05095#bib.bib60);Chen等,2024 (https://arxiv.org/html/2608.05095#bib.bib62);Mitchell等,2022 (https://arxiv.org/html/2608.05095#bib.bib63);Xu等,2024 (https://arxiv.org/html/2608.05095#bib.bib43);Wang等,2023b (https://arxiv.org/html/2608.05095#bib.bib44);Pham等,2024 (https://arxiv.org/html/2608.05095#bib.bib45))。然而,现有方法主要修正单个记忆单元或孤立事实,每次更新都需要重复全局搜索以识别相关记忆。HiGram通过基于MicroGraph的定位和协调重写来解决这一局限,在局部证据区域内联合更新MemoryUnit状态和单元间依赖。

## 3 提出的方法

如图1 (https://arxiv.org/html/2608.05095#S1.F1)所示,HiGram维护一个层级图记忆,并通过三个阶段性过程执行记忆定位和重写。首先,层级图记忆组织在MemoryUnit之上构建抽象结构,从而支持对相关记忆的粗粒度访问。其次,基于MicroGraph的路径级定位在重写前缩小搜索空间,并识别受查询和更新影响的路径。最后,协调重写在局部区域内更新MemoryUnit状态及其依赖关系。

### 3.1 层级记忆组织

我们将时间t的记忆表示为层级图记忆 \(G_t = (\mathcal{V}_t, \mathcal{E}_t)\)。节点集定义为

\(\mathcal{V}_t = \mathcal{V}_t^{\mathrm{sub}} \cup \mathcal{V}_t^{\mathrm{cat}} \cup\)

相似文章