@rohanpaul_ai：亚马逊新论文表明，部署 Agent 记忆系统的团队应检查实际存储了什么，因为仅靠 QA 分数无法……

X AI KOLs Following 论文
agent-memory benchmark evaluation llm-agents retrieval amazon

摘要

亚马逊新论文提出 FEB-30 基准，包含 30 条预设事实历史（147 篇文档），揭示基于 QA 的 Agent 记忆基准可能掩盖损坏的记忆存储——两种评估方式平均相差 16.8 分，且在 21% 的案例中结论不一致。论文建议在每次更新后直接验证已存储的事实。

亚马逊新论文表明，部署 Agent 记忆系统的团队应检查实际存储了什么，因为仅靠 QA 分数无法发现到底是流水线的哪个环节出了问题。 Agent 记忆基准只对智能体的回答进行评分，这会将记忆与检索、答案撰写混为一谈。强大的 LLM 可以掩盖损坏的记忆存储，而一次检索失败则可能让一个正确的存储显得很糟糕。 他们构建了 FEB-30，一个由 30 条预设事实历史转化为 147 篇文档的基准，因此在每篇文档处理后都已知正确的记忆状态。在一个类似 Mem0 和 Hindsight 构建的记忆系统上，他们将存储的事实与这一真实状态以及 QA 分数进行了对比。 两种评分平均相差 16.8 分，并且在 21% 的事实历史中，通过/不通过的判定结论不一致。系统只有 20.1% 的时间选择了正确的记忆操作（如更新或强化），而 QA 基准从未反映出这一问题。 如果你在构建 Agent 记忆系统，请在每次更新后直接测试存储的事实，同时配合端到端的 QA 评估。
查看原文
查看缓存全文

缓存时间: 2026/10/19 09:17

Amazon 的一篇新论文表明，凡是构建 agent memory 的团队都应该检查实际存储了什么内容，因为仅靠 QA 评分无法发现究竟是流程中哪个环节出了问题。

Agent memory 的基准测试通常对 agent 的回答进行评分，这会将记忆、检索和答案生成混为一谈。强大的 LLM 可能掩盖损坏的记忆存储，而一次检索失败也可能让正确的存储显得很差。

研究人员构建了 FEB-30，包含 30 个脚本化事实历史，转化为 147 个文档，因此在每个文档处理后，正确的记忆状态都是已知的。在一个类似 Mem0 和 Hindsight 架构的记忆系统上，他们将存储的事实与该真实值以及 QA 评分进行了对比。

这 2 种评分平均相差 16.8 分，且对事实历史的通过/不通过判定在 21% 的情况下结论相反。系统选择正确的记忆操作（如更新或强化）的准确率仅为 20.1%，而 QA 评分从未反映出这一点。

如果你在构建 agent memory，请在每次更新后直接测试存储的事实，并与端到端 QA 一起进行。

相似文章

@rohanpaul_ai：Meta 新论文。大多数智能体记忆系统使用单一置信度阈值来决定保存哪些关于用户的事实，但这……

X AI KOLs Timeline

Meta 的一篇新论文发现，相比使用单一的全局阈值，仅对有关用户价值观和信念的陈述采用更严格的置信度阈值，能让智能体记忆系统表现更好。针对价值观设置的门槛将已保存事实中缺乏依据的比例从 6.2% 降至 4.0%，同时对源文本关键事实的保留率提高了约 13 个百分点。