在内存基准测试LongMemEval上以Gemini Flash(非Pro)取得第一 [R]
摘要
一个受情景记忆理论启发的新型内存检索系统,使用Gemini Flash在LongMemEval基准测试中取得了最先进的96.4% top-50准确率,通过将检索质量与模型能力分离,超越了基于Pro的大型基线。
披露:第一作者。针对LongMemEval(Wang等人,2024)的实验性内存检索系统评估。觉得结果可能在此引起兴趣,特别是故意使用较小的回答模型以将检索质量与模型能力分离。使用Gemini 3 Flash在top-50上达到96.4%。已报告的对比得分(均为Gemini 3 Pro):Mem0 94.8%,Honcho 92.6%,HydraDB 90.79%,Supermemory 85.2%。检索架构借鉴了情景记忆理论(Tulving,1972)、重建性回忆(Bartlett,1932)和时间上下文模型(Howard & Kahana,2002)。我们认为重要的三个设计选择:
* **查询分解**:并行检索传递针对不同的信息需求。对于单个查询无法浮现所有相关片段的跨会话问题至关重要。
* **时间显著性评分**:根据语义相似性、词汇精确性和时间显著性对候选进行评分,反映了人类回忆中的关联和近因因素(Polyn等人,2009)。
* **连贯性重排序**:在呈现给回答模型之前,根据跨内存连贯性和时间链解析进行重排序。
方法:复刻了Mem0的开源基准测试脚本,用我们的系统替换了存储和检索,剥离了所有特定问题的提示模板。单个通用提示,500个问题。在top-50上的类别结果:单次会话(用户)98.6%,助手100%,偏好96.7%,知识更新97.4%,多次会话94.0%,时间推理95.5%。局限性:单一基准评估;架构细节故意受限;单一模型配置,无消融实验;生产条件(对抗性输入、隐私、矛盾信息)未经测试。约96%以上时我们遇到了评估天花板效应:含糊问题、狭窄预期答案、数据集不一致性。发现了一些基准错误,已向上游报告。[论文](https://exabase.io/research/exabase-achieves-state-of-the-art-on-longmemeval-benchmark) | [结果](https://fabric.so/p/longmemevalresults20260514125510-48Wipq9gyX8ZRzG3jHnWY9?expandedFdocId=b06b9bab-a50c-4bcf-935b-7f86c118aa9b) | [回答提示](https://fabric.so/p/longmemeval-answer-generation-prompt-6qoaWxIa5BCrPH3DDdQbdS?expandedFdocId=0fda4cbc-438d-4546-bd06-69bcedb1e566) 好奇是否有人已经探索了类似受认知科学启发的对话内存检索架构。
相似文章
Gemini 3.5 Flash-Lite 在长上下文检索方面优于 3.1 Flash-Lite(MRCRv2)
Gemini 3.5 Flash-Lite 相对于其前身 Gemini 3.1 Flash-Lite,在 MRCRv2 基准测试中实现了更好的长上下文检索性能。
在 LongMemEval-S 上对智能体记忆检索进行基准测试 — Recall@5 达 98%,R@23 实现 100% 召回,仅依赖本地嵌入模型 (all-MiniLM-L6-v2),无需 LLM 与 API Key
作者分享了用于智能体记忆的 Python 库 memweave 的基准测试结果,该库仅使用本地嵌入且无需调用 LLM,便在 LongMemEval-S 上实现了 98% 的 Recall@5。本文详细介绍了实现方法,并与 mempalace 进行了性能对比,突出了其在不同问题类型上稳定的检索表现。
Gemini 3.5 Flash 基准测试
讨论了Gemini 3.5 Flash模型的基准测试结果,可能展示了它在各种AI任务上的表现。
记忆检索底层存在缺陷。
PrecisionMemBench 是一个开源基准测试,它将检索精度作为严格的单元测试来检验,结果揭示了诸如 Mem0、Zep 和 Hindsight 等流行的记忆框架精度极低(0.05-0.09),并且依赖 LLM 来弥补。文章主张在生产级记忆基础设施中对精度采取零容忍的硬失败策略。
相同检索,不同答案:500个LongMemEval结果中32个翻转
本文强调,即使检索结果不变,由于读取器或评判器阶段的差异,Engrava这一记忆层工具的基准分数也可能发生变化,并使用LongMemEval结果来说明这一问题。