智能体记忆不仅仅是基于用户事实的RAG
摘要
文章认为,简单的基于RAG的智能体记忆系统在生产中会失败,原因包括过时的偏好、遗漏的关键词和提示注入等问题,并主张采用分层记忆架构,具备主动选择、确定性回退、治理和测试等功能。
我经常看到智能体记忆的实现方式为:1. 从对话中提取事实/偏好 2. 存储它们 3. 在每次回复前检索top-k 4. 将它们注入到提示中。这种模式在演示中有效,但在生产中会失效,因为记忆一旦进入提示就变成了策略。一个过时的偏好可能是真实的,但对当前任务仍然是错误的。一个后续问题可能省略了原始任务的关键词。一个被编辑的记忆可能保留过时的嵌入。一个选择器故障可能意外导致广泛的提示注入。我所主张的模式是:
- 分层记忆:证据/场景/稳定画像
- 注入前的主动记忆选择
- 确定性回退,从不完整注入
- memory_usage遥测
- 治理:编辑、废弃、合并、取代
- 清理重复污染上下文的记忆的janitor
- 基于真实轨迹的场景回放测试
很好奇其他人如何处理“真实但不应该影响本轮回应的记忆”。为了遵守子版块关于链接的规则,我将在评论中发布完整的文章。
相似文章
智能体记忆:剖析
探讨智能体记忆库的组件与设计决策,澄清认知科学术语与工程实现之间的差距。
智能体记忆应该有动词,而不仅仅是存储
本文批评了当前将智能体记忆仅仅视为存储问题的框架,认为记忆应具有类型化角色、新鲜度和权威级别,以防止过时或错误的信息被当作真理。
智能体的记忆尚未成熟
对当前AI智能体记忆解决方案的批评,认为RAG包装器及类似方法未能解决模型偏见和上下文膨胀的核心问题。
关于智能体、RAG 和记忆的一些笔记与经验教训
作者分享了在大规模构建 AI 智能体过程中积累的笔记与经验教训,重点探讨 RAG 和记忆管理,以帮助他人。
我曾以为智能体记忆只是存储问题。现在我不这么认为了。
一位开发者重新思考智能体记忆,认为它不仅仅是存储,而是提出了一个带有角色和激活场的活图,用以赋予过去信息适当的权威和上下文。