TRACE: 面向LLM代理的开源层次化记忆系统,在MemoryAgentBench的EventQA任务中使用gpt-oss-20B达到82.5% [P]
摘要
TRACE是一个面向LLM代理的开源层次化记忆系统,它将对话历史组织成主题树,使用开放权重模型在MemoryAgentBench的EventQA任务上达到了82.5%的F1分数,性能优于Mem0和MemGPT。
构建了一个名为TRACE的记忆系统,它将代理对话历史组织成主题树(分支+摘要),而不是扁平的RAG块,并在MemoryAgentBench(ICLR 2026)上进行了基准测试,具体是EventQA精确检索任务。这是一个pypi包:pip install trace-memory
结果(F1):
• TRACE (gpt-oss-20B): 82.5%
• TRACE (gpt-oss-120B): 83.8%
• Mem0 (GPT-4o-mini, 论文官方数值): 37.5%
• MemGPT/Letta (GPT-4o-mini, 论文官方数值): 26.2%
我在本地运行了gpt-oss,因此这是开放权重模型与基于GPT-4o-mini的MemGPT/Mem0的对比,并非同一骨干网络的公平比较(我没有钱买OpenAI的token)。我尝试直接让Mem0在gpt-oss-20B上运行以求公平,但其事实提取步骤需要严格的JSON输出,而gpt-oss的响应无法干净解析(已知问题,并非gpt-oss特有。同样的问题也出现在Gemini/Mistral上)。Letta需要完整的服务器设置,所以我跳过了。
两次运行的完整JSON日志都在仓库中,如果您想自行研究方法论可以查看。
GitHub: https://github.com/husain34/TRACE
相似文章
MemoryOS —— 具备时序知识图谱的 AI 智能体记忆,实现 9ms 摄取与 78ms 检索
MemoryOS 是一款开源、可自托管的 AI Agent 记忆工具,它利用时序知识图谱技术,在 LongMemEval-s 基准测试中实现了 86.2% 的准确率,并以 78 毫秒的快速检索速度著称。
rohitg00/agentmemory
agentmemory 是一个开源的持久化记忆层,专为 AI 编程智能体(Claude Code、Cursor、Gemini CLI、Codex CLI 等)设计。它通过知识图谱、置信度评分和混合搜索技术,借助 MCP、Hooks 或 REST API,为智能体提供跨会话的长期记忆能力。该项目基于 iii 引擎构建,无需外部数据库,提供 51 个 MCP 工具。
无需调用模型即可在LongMemEval上达到96.4%召回率的智能体记忆系统
Agentlas是一个免费、开源的智能体记忆系统,它使用本地SQLite数据库,结合轻量级嵌入和关键词搜索,无需调用LLM即可在LongMemEval上达到96.4%,性能优于mem0和supermemory等替代方案。
GroupMemBench:多轮对话中LLM代理记忆的基准测试
GroupMemBench是一个新的基准,用于评估多轮对话中LLM代理的记忆能力,揭示了当前记忆系统的缺陷,最佳系统仅达到46%的平均准确率。
基于文件系统的LLM Agent记忆:组织、演化与可持续性
本文首次系统性地探索了基于文件系统的LLM Agent记忆,将管理、搜索和执行Agent的角色规范化,使其围绕一个共享的记忆存储。研究发现,组织主要降低了检索成本,但尚未提升答案质量,并且工具选择对存储形态的影响与模型选择一样大。