我的智能体记忆系统在25周后的表现:四张图,无LLM参与晋升路径,以及三种故障方式

Reddit r/AI_Agents 工具

摘要

本文详细描述了一项为期25周的AI智能体记忆系统实验,该系统采用情景记忆和语义记忆,并进行每夜整合,避免在记忆晋升过程中使用LLM,并使用四张独立的图分别表示关联、证据、因果和随时间变化,同时突出了如吸引子盆地等会降低检索效率的缺陷。

这里经常讨论记忆问题,而我尝试了除“总结并塞入上下文”之外的方法。这是我最终得到的结果,包括破损部分,因为失败更有用。 层级:工作记忆 - 情景记忆 - 语义记忆,每夜整合。刻意选择:在晋升路径中不使用任何LLM。没有提取提示决定什么值得保留。晋升基于系统自身的信号(重复出现、访问模式)进行,嵌入在系统内部构建。如果外部模型决定进入持久记忆的内容,那么这个记忆就是对你智能体的第三方摘要,而非你智能体自身的。代价:逻辑比好的提取器更笨拙,会遗漏信息。 四张图而非一张。关联图,其中边在共访问时增强,在不使用时衰减,刻意不设类型,仅作为强化。然后是证据链图(我们如何知道这个)、因果结构图以及该结构如何变化的随时间快照图。关联、证据、因果和随时间变化是四种不同的关系,将它们合并到一个类型化的图中会使每次遍历都变得模糊。 检索首先通过向量存储进行假设。生成一个答案的样子,然后基于此搜索。关键词/相似度仅作为后备。这是我从任何地方得到的最大单次改进,因为向量存储已经损坏了两个月,大部分为空,并返回NaN评分的虚假匹配。如果你的检索感觉模糊无用,检查它是否返回实际匹配项而不仅仅是返回结果。 矛盾是记录,而非门控。在一个永不停歇的系统中,阻塞整合直到冲突解决意味着整合永远不会发生。因此,矛盾成为自己的记录(基于规则的低成本检测,针对最近的账本窗口),去重后写入工作记忆,映射到一个问题,计入每日密度数字。峰值被视为健康状态。 我的审计揭示了三个缺陷:语义晋升读取情景账本的固定尾部,然后过滤成熟度。情景记忆不断写入,因此尾部中的所有内容总是太新。导致没有任何内容晋升到语义记忆。将常规条目排除在持久记忆之外的噪声过滤器恰好排除了最频繁写入者产生的模式。该来源永远无法晋升。整合修剪弱链接,然后索引重建在同晚重新发现并重新创建它们。我的链接日志是记忆大小的200倍。而我认为具有普遍性的:关联图陷入了吸引子盆地,最大权重的派系由重复模板内容与自身共同形成。在这种状态下,检索返回盆地节点,无论查询是什么。赫布强化加上任何喋喋不休的日志记录器最终会吞噬你的检索。 还有其他人将关联与来源分成独立的图,还是每个人都在一个类型化的图上?是否有人遇到过吸引子盆地的问题?如果有,是什么消除了它:写入端过滤、权重上限、重归一化?
查看原文

相似文章

你的智能体什么都记得,唯独忘了怎么干活

Reddit r/AI_Agents

分析 LLM 智能体中情景记忆与程序性记忆之间的差距,引用浙江大学和阿里巴巴的一篇新论文 (Memp),该论文从智能体轨迹中构建程序性记忆,并利用失败信号修正存储的程序。

AI 智能体记忆机制详解(28 分钟阅读)

TLDR AI

本文全面介绍了 AI 智能体记忆机制的技术原理,区分了工作记忆与长期记忆的实现方式,并探讨了上下文管理、基于嵌入的检索以及数据生命周期治理等关键策略。