Zero-Mem:面向LLM智能体的零Token记忆操作
摘要
Zero-Mem为LLM智能体引入了一种零Token记忆操作系统,通过保留原始交互轨迹并使用确定性实体-上下文和时间结构,在记忆检索过程中消除了LLM调用和Token消耗。它在长记忆和长上下文问答基准上取得了具有竞争力的性能,同时将记忆操作时间成本降低了57.6%。
arXiv:2607.29377v1 公告类型:新
摘要:LLM智能体需要记忆以在长时间交互中保持一致行为,但许多系统使用额外的LLM调用来操作该记忆。生成中间记录并协调其检索会增加周期性的Token和时间成本,而被省略或合并的细节则可能掩盖原始证据。我们质疑结构化记忆访问是否完全需要生成。Zero-Mem引入了\emph{零Token记忆操作}:除最终问答之外,没有任何步骤调用LLM或消耗LLM输入或输出Token;编码器计算单独核算。Zero-Mem保留原始交互轨迹作为其记录来源。它以两种互补方式组织轨迹。实体--上下文图揭示跨交互的连接,而时间层次结构保留对话局部性和会话状态。对于每个查询,Zero-Mem会权衡这两种视图,从两者中检索,并遵循它们的结构来恢复支持关系或周围上下文。确定性校准首先丢弃相互冲突的证据,然后确保阅读器的答案以检索到的轨迹为依据。只有最终问答阅读器会调用LLM。在长记忆和长上下文问答基准上,Zero-Mem在消除记忆操作中的LLM调用和LLM Token消耗的同时,取得了具有竞争力的性能。在相同的最终问答阅读器和上下文预算下,与最快比较基线相比,它将记忆操作时间成本降低了57.6\%。消融实验支持了这两种视图及其依赖查询的协调所做的贡献。总体而言,结果表明结构化智能体记忆无需生成过去的中间表示。同行评审后,代码和实现细节将在\textcolor{blue}{https://github.com/TheMoon0815/Zero-mem}提供。
查看缓存全文
缓存时间: 2026/08/03 07:36
# Zero-Mem:面向LLM智能体的零Token记忆操作
来源:https://arxiv.org/html/2607.29377
Yilin Xiao♠\spadesuit, Zhehan Zhu♣\clubsuit, Yujing Zhang♠\spadesuit, Jin Chen♣\clubsuit, Zijin Hong♠\spadesuit, Luyao Zhuang♠\spadesuit, Qinggang Zhang♢\diamondsuit, Shengyuan Chen♠\spadesuit, Xiaocao Ouyang♣\clubsuit, Lingfei Ren♣\clubsuit, Xiao Huang♠\spadesuit
###### 摘要
LLM智能体需要记忆才能在长时间交互中保持一致的行为,然而许多系统依赖额外的LLM调用来操作记忆。生成中间记录并调节其检索会带来持续的Token和时间开销,而省略或合并的细节可能会模糊原始证据。我们提出疑问:结构化记忆访问是否真的需要生成过程?Zero-Mem引入了*零Token记忆操作*:除最终问答外,没有任何步骤调用LLM或消耗LLM输入/输出Token;编码器计算被单独计入。Zero-Mem保留原始交互轨迹作为其记录来源。它以两种互补的方式组织这些轨迹。实体-上下文图展现跨交互的关联,而时间层次结构保留对话局部性和会话状态。对于每个查询,Zero-Mem对两种视图进行加权,从两者中检索,并沿其结构恢复支持性关系或周边上下文。确定性校准首先丢弃冲突证据,然后将阅读器的答案锚定在检索到的轨迹上。只有最终QA阅读器调用LLM。在长记忆和长上下文问答基准上,Zero-Mem在消除记忆操作中LLM调用和LLM Token消耗的同时,取得了有竞争力的性能。在相同的最终QA阅读器和上下文预算下,相比最快的基线方法,其记忆操作时间成本降低了57.6%。消融实验支持了两种视图及其查询相关协同的贡献。总体而言,结果表明结构化的智能体记忆并不需要生成过去的中间表示。同行评审后,代码和实现细节将在https://github.com/TheMoon0815/Zero-mem公开。
## 引言
大语言模型(LLM)智能体越来越多地运行在扩展交互之上,积累话语、动作、工具观察和任务结果(Luo等,2025 (https://arxiv.org/html/2607.29377#bib.bib14);Du等,2026 (https://arxiv.org/html/2607.29377#bib.bib15);Xie等,2025 (https://arxiv.org/html/2607.29377#bib.bib16))。因此,它们的可靠性不仅取决于对当前输入的推理,还取决于从不断增长的交互历史中恢复正确的证据。记忆系统必须在跨会话保持信息的同时,防止无关或过时的轨迹主导当前决策。因此,核心挑战已不再仅仅是如何存储更多上下文,而是在证据与正确的实体、会话和时间状态相关时,如何恢复这些证据(Zhang等,2025b (https://arxiv.org/html/2607.29377#bib.bib19);Hu等,2026b (https://arxiv.org/html/2607.29377#bib.bib20);Yang等,2026 (https://arxiv.org/html/2607.29377#bib.bib21);Wu等,2025 (https://arxiv.org/html/2607.29377#bib.bib22))。
参见图注图1:不同智能体记忆操作模式的比较。生成式记忆依赖LLM生成的抽象,而原始检索搜索非结构化轨迹,可能遗漏分布式证据。Zero-Mem构建关系和时间记忆结构,并以零LLM调用或Token完成所有记忆操作;仅最终QA调用LLM。在智能体记忆和智能体结构化检索系统中,语言模型已被用于总结或反思经验、构建层次抽象和图索引,以及生成或演化链接的记忆记录(Zhong等,2024 (https://arxiv.org/html/2607.29377#bib.bib32);Salama等,2025 (https://arxiv.org/html/2607.29377#bib.bib29);Sun等,2026 (https://arxiv.org/html/2607.29377#bib.bib31);Gutierrez等,2024 (https://arxiv.org/html/2607.29377#bib.bib34);Anokhin等,2025 (https://arxiv.org/html/2607.29377#bib.bib35);Zhang等,2025a (https://arxiv.org/html/2607.29377#bib.bib36))。这些转换可以让大型历史更容易访问,但也将记忆管理变成了持续的生成负载。当生成的抽象调节后续检索时,省略的细节、合并的主题或模糊的时间更新可能会削弱对原始交互的可追溯性。相反的策略是保留完整历史,直接从原始轨迹检索(Yan等,2025 (https://arxiv.org/html/2607.29377#bib.bib7);Xu等,2022 (https://arxiv.org/html/2607.29377#bib.bib39))。尽管这保留了源证据,但扁平化的词法或稠密检索可能会混淆来自不同用户、会话或时间状态的语义相似轨迹,并且在支持证据分布在多个交互中时可能会失效。因此,有效的记忆需要忠实的保留和结构化的、受查询条件约束的证据选择。
近期系统试图减少而非消除这种依赖。SimpleMem(Liu等,2026 (https://arxiv.org/html/2607.29377#bib.bib5))通过语义结构化压缩、在线语义综合和意图感知的检索规划来提高Token效率,而LightMem(Fang等,2026 (https://arxiv.org/html/2607.29377#bib.bib4))将若干记忆操作从大型LLM转移到专用的小型语言模型,并将在线检索与离线整合分离。这些方法降低了生成开销,但并未以实现除最终问答外唯一依赖LLM的记忆流水线为目标。因此,我们提出疑问:一个智能体记忆系统能否在保留超出扁平相似性检索的结构化访问的同时,消除最终问题回答之外所有操作中的LLM调用?我们将这种操作模式称为*零Token记忆操作*:记忆构建、组织、路由、检索、证据闭合,以及阅读器前的证据校准和阅读器后的答案校准均不调用LLM,也不消耗LLM输入或输出Token。编码器计算和最终QA推理被单独计入。
我们提出Zero-Mem,它将记忆操作重新表述为对具有来源信息的交互轨迹的结构化证据选择。Zero-Mem不将历史替换为生成的抽象,而是保留原始轨迹作为记录来源,并基于其构建两种互补的无生成视图。实体-上下文图捕获观察到的共现和轨迹邻接,用于关系访问;而时间排序的层次结构保留对话局部性和会话级状态。两种视图都解析到相同的具有来源信息的源单元。在查询时,一个轻量级配置文件根据查询的结构要求协调两种视图。它们的排名被融合,证据闭合通过关系连接和周边轨迹上下文补充主要候选。确定性的证据校准随后为最终QA生成一个紧凑的证据集\(R(q)\)。阅读器是唯一依赖LLM的阶段;之后,确定性的答案校准应用证据支持、类型和格式检查,而不调用另一个模型。因此,在原始轨迹和暴露给阅读器的证据之间,不会插入任何生成的记忆。
在长上下文和长记忆QA基准上,Zero-Mem在将记忆操作的LLM调用和Token降至零的同时,取得了有竞争力的性能。在相同的最终QA阅读器和等效上下文预算下,相比最高时间效率的基线,Zero-Mem实现了57.6%的记忆操作延迟降低,消融研究进一步验证了每个核心模块的有效性。我们的贡献有三个方面:
- •我们定义了*零Token智能体记忆*,一种在最终QA之外的每个操作使用零LLM调用和零LLM输入/输出Token的操作模式,将记忆操作成本与最终阅读器推断分离。
- •我们引入了Zero-Mem,一个保留来源的框架,协调关系和时间排序视图,直接在原始交互轨迹上进行结构化证据选择。
- •我们在多个长记忆基准上评估了Zero-Mem,展示了其在零记忆操作LLM成本下的竞争性能,并分析了其互补核心模块的贡献。
## 相关工作
智能体记忆系统组织、更新和检索不断增长的交互历史(Yao等,2023 (https://arxiv.org/html/2607.29377#bib.bib23);Schick等,2023 (https://arxiv.org/html/2607.29377#bib.bib24);Wang等,2024 (https://arxiv.org/html/2607.29377#bib.bib25);Park等,2023 (https://arxiv.org/html/2607.29377#bib.bib26);Shinn等,2023 (https://arxiv.org/html/2607.29377#bib.bib27))。Zep(Rasmussen等,2025 (https://arxiv.org/html/2607.29377#bib.bib11))构建了一个时间感知的知识图谱记忆层,包含情景、语义实体和社区子图,以及一个跟踪事件和摄取时间的双时间模型。Mem0(Chhikara等,2025 (https://arxiv.org/html/2607.29377#bib.bib2))通过LLM工具调用增量提取和更新记忆,包括添加、更新、删除和无操作;Mem0g使用有向标记图建模实体关系。A-Mem(Xu等,2025 (https://arxiv.org/html/2607.29377#bib.bib1))遵循Zettelkasten笔记法,构建带有关键词、标签和上下文描述的结构化记忆笔记,同时动态关联相关记忆。MemoryOS(Kang等,2025 (https://arxiv.org/html/2607.29377#bib.bib3))使用受操作系统启发的架构,具有短期、中期和长期存储、分页和基于流行度的更新。GAM(Yan等,2025 (https://arxiv.org/html/2607.29377#bib.bib7))在即时记忆范式下结合轻量级离线记忆和在线深度研究,以更高的查询时间成本构建任务特定上下文。CompassMem(Hu等,2026a (https://arxiv.org/html/2607.29377#bib.bib6))将经验组织为以事件为中心的记忆图,并带有显式关系以处理复杂问题。LightMem(Fang等,2026 (https://arxiv.org/html/2607.29377#bib.bib4))将记忆更新与在线推断解耦,应用预压缩和主题分割来降低延迟和Token成本。SimpleMem(Liu等,2026 (https://arxiv.org/html/2607.29377#bib.bib5))结合语义结构化压缩、在线语义综合和意图感知的检索规划以减少Token消耗。总体而言,这些系统提高了记忆效率,但许多系统在记忆生命周期中保留了生成式处理。
## 预备知识
一个LLM智能体积累过去的交互历史\(\mathcal{H}=(s_1,\ldots,s_T)\),其中每个轨迹单元\(s_i\)可能包含用户消息、助手响应或动作、工具观察、时间戳、说话者和会话元数据。给定当前查询\(q\),智能体记忆系统从历史中检索相关信息,以构造证据集
\(R(q)=\operatorname{Memory}(q,\mathcal{H})\)。 (1)
然后,阅读器LLM使用检索到的证据生成答案:
\(a=\operatorname{Reader}(q,R(q))\)。 (2)
在这项工作中,Zero-Mem通过无生成的记忆构建、组织、检索、路由和校准来实例化记忆函数。
参见图注图2:Zero-Mem概览。原始交互轨迹被组织成保留来源的实体-上下文图和时间层次结构,而不进行生成式抽象。查询条件下的路由对两种视图进行加权,其检索到的证据被融合,并通过关系桥接和局部邻域补全。确定性校准对证据进行过滤和排序,并检查阅读器输出。所有记忆操作均无Token消耗;最终QA阅读器是唯一的LLM调用。
## 方法
### Zero-Mem概览
Zero-Mem通过无Token证据选择来实现记忆函数。它保留原始交互轨迹作为权威记忆来源,并基于其构建无生成的检索结构。Zero-Mem由四个组件组成:保留来源的无Token记忆基底、查询条件证据路由、双视图证据检索与闭合,以及确定性证据校准。图视图恢复关系证据,而层次视图保留局部、时间和会话上下文。路由控制它们的相对优先级,闭合用结构相关的证据补充检索到的候选,校准则移除不一致或不受支持的内容。所有记忆操作均无Token消耗,只有最终阅读器生成答案。
### 保留来源的无Token记忆基底
Zero-Mem不会用生成的抽象替换原始历史。每个派生单元保留其原始文本,连同来源标识符、会话时间、边界标识符和其他可用元数据。因此,检索到的证据可以追溯到观察到的交互,而不是模型生成的记忆语句。
##### 关系轨迹图。
Zero-Mem对每个上下文单元应用无生成的命名实体识别(NER)模型(如spaCy),并从检测到的实体构建观察到的实体-上下文图:
\(G=(V_d\cup V_e,E_{de}\cup E_{dd})\), (3)
其中\(V_d\)和\(V_e\)分别表示上下文节点和实体节点。\(E_{de}\)包含实体-上下文共现边,\(E_{dd}\)包含相邻上下文单元之间的邻接边。当在上下文单元\(d_i\)中检测到实体\(e\)时,添加实体-上下文边,权重为:
\(w(d_i,e)=\frac{c(e,d_i)}{\sum_{e'\in\mathcal{E}(d_i)}c(e',d_i)}\)。 (4)
其中\(c(e,d_i)\)是\(e\)在\(d_i\)中的出现频率。\(\mathcal{E}(d_i)\)表示在\(d_i\)中检测到的实体集合。相邻上下文单元也被连接以保持局部连续性。图记录观察到的共现和轨迹邻接,而不是生成语义三元组或推断关系。
##### 层次轨迹单元。
仅靠图结构无法保留交互的局部顺序和时间状态。Zero-Mem在多个粒度上组织轨迹:
\(\mathcal{T}(\mathcal{H})=U_{\mathrm{turn}}\cup U_{\mathrm{window}}\cup U_{\mathrm{episode}}\cup U_{\mathrm{local}}\)。 (5)
回合保留原子话语,窗口保留短范围上下文,而情节根据语义连续性和可用的时间或会话边界将相邻窗口分组为连贯的事件区域。局部跨度保留候选回合的紧邻环境,并在选中的证据需要周围上下文时使用。所有单元都从其底层原始轨迹继承来源信息。
##### 词法与稠密访问信号。
Zero-Mem还使用词法统计(BM25)和稠密嵌入(BGE-M3)为轨迹单元建立索引。词法信号识别精确名称、日期、数字、标题和短语,而稠密信号在表面重叠较弱时提供语义锚点。这些表示仅用于索引、播种和评分;它们不会生成或重写记忆内容。
### 查询条件证据路由相似文章
SimpleMem: 面向大语言模型智能体的高效终身记忆
介绍SimpleMem,一种面向LLM智能体的高效记忆框架,利用语义无损压缩提升准确率并降低token消耗,F1分数提升26.4%,推理时token使用量减少高达30倍。
RecMem:基于重复的记忆整合方法,用于高效且有效的长期运行LLM智能体
RecMem是一种基于重复的记忆整合方法,适用于长期运行的LLM智能体,通过仅在语义相似的交互重复出现时调用LLM,可减少高达87%的令牌消耗,同时提高准确性。
Mem0:利用可扩展的长期记忆构建生产就绪的 AI 智能体
Mem0 引入了一种基于图表示的可扩展内存中心架构,旨在提升大语言模型(LLM)在长期对话中的连贯性,在显著降低延迟和 Token 成本的同时,性能优于现有的记忆系统。
HasMem: 用于长期LLM代理的硬起源自适应软化记忆
论文提出了HasMem,一种用于长期LLM代理的自适应记忆压缩方法,该方法在保持冻结的LLM参数的同时调整记忆宽度,在重建和问答基准测试中展示了改进的性能。
@zxlzr: 介绍 MemTrace:让 LLM 记忆系统终于可调试 记忆正在成为AI智能体的核心组成部分。但…
MemTrace 是一个新工具,通过跨多轮追踪记忆操作,使LLM记忆系统变得可调试,解决了当前记忆增强型智能体的黑箱问题。