每个智能体记忆系统都用召回率做基准,却几乎没人检查记忆是否仍然真实

Reddit r/AI_Agents 工具

摘要

本文认为,智能体记忆系统的评估只看召回率,而不看召回的事实是否仍然为真;并提出一个“过时正确性”(correctness under staleness)基准,结果显示向量存储在 68% 的情况下会返回过时事实。

召回率是每个智能体记忆系统都会报告的指标:命中率、Token 节省、恢复的上下文。但这些都不能告诉你真正让智能体在生产环境中崩溃的问题:它刚刚召回的事实是否仍然为真。一个返回“曾经正确、现在错误”的事实的记忆,比没有记忆更糟糕,因为智能体会带着完全的信心去行动。假设你在六个月前存了“生产数据库主机是 db-prod-03”。基础设施已经迁移。存储仍然召回 db-prod-03,智能体对一台已不存在的机器执行迁移,而召回步骤中没有任何机制知道这个事实已经过期。因此,我们构建了一个小基准,专门针对一件事:过时条件下的正确性——当真实值发生变化后,记忆是否返回当前的真相。可复现的方法如下:冻结一组事实任务(服务主机、版本、区域、负责人)。将每个事实作为一条语句写入记忆。随时间改变真实值,并将每次变化作为新的观测输入。查询当前值,并按当前来源打分。50 个事实中,有 40 个至少变化过一次。在这 40 个事实上: 记忆模式 返回当前真相 返回过时值 仅追加向量存储(按相似度 top-1) 32% 68% 普通键值存储,按实体覆盖 100% 0% 向量存储每次都能检索到正确的实体,但它完全没有“新事实取代旧事实”的概念,因此相似度排序三次中有两次会把过时版本交回来。对检索按新近度加权减少了过时命中,但开始返回关于错误服务的最新事实,相当于用另一个错误换掉一个错误。把这种新近度限定在实体范围内,你就等于重建了覆盖式存储。差异从来不在存储本身,而在于一个变化的事实是否会让旧事实失效。“过时条件下的正确性”能捕捉到这一点,而几乎没有人去衡量它。在智能体基于过时但自信的记忆行动之前,你是如何发现它的?
查看原文

相似文章

STALE:LLM智能体能否识别记忆何时失效?

Hugging Face Daily Papers

本文识别了LLM智能体中的一个关键失效模式:当新证据与先前信念冲突时,它们无法更新个性化记忆。本文引入了STALE基准和一个三维探测框架,揭示了即使最佳模型也仅达到55.2%的准确率,并提出了CUPMem作为鲁棒记忆修正的原型。

智能体不需要记忆,它们需要文档

Hacker News Top

文章观点认为:当前 AI 智能体的记忆插件本质上都是有缺陷的基于 RAG 的检索,而智能体更适合通过显式的、基于文档的知识来发挥作用,而不是依赖向量库中的片段检索。

智能体应该记住什么?在有限记忆评估中将记忆保留与检索解耦

arXiv cs.AI

本文构建了一个流式召回基准,将智能体与查询无关的记忆保留决策与查询相关的检索选择决策分离开来。研究发现,先前评估中报告的大部分记忆优势实际上是一种访问机制造成的假象,而在有限记忆条件下,召回率的上界由记忆保留率决定。