每次查询都确定无误,零次LLM调用检索,仍达到1.00召回率:我们将自研记忆工具与另外四款进行正面对比
摘要
本文将对一款新型确定性记忆工具与另外四款工具进行正面比较,该工具在检索过程中无需任何LLM调用即可实现完美召回。
暂无内容
相似文章
记忆检索底层存在缺陷。
PrecisionMemBench 是一个开源基准测试,它将检索精度作为严格的单元测试来检验,结果揭示了诸如 Mem0、Zep 和 Hindsight 等流行的记忆框架精度极低(0.05-0.09),并且依赖 LLM 来弥补。文章主张在生产级记忆基础设施中对精度采取零容忍的硬失败策略。
在内存基准测试LongMemEval上以Gemini Flash(非Pro)取得第一 [R]
一个受情景记忆理论启发的新型内存检索系统,使用Gemini Flash在LongMemEval基准测试中取得了最先进的96.4% top-50准确率,通过将检索质量与模型能力分离,超越了基于Pro的大型基线。
同一系统,评分随评判者不同而大相径庭。你该如何解读记忆基准测试?
讨论了 LLM 记忆基准测试有多不可靠:同一套答案在 token 重叠 F1 下得分 51.4,而在 LLM 评判者下得分 75.8,分数随评判模型、读取记忆的模型以及运行次数剧烈波动;而且许多结果由厂商自行报告,噪声水平不明。
Memoria 1.0.0 — 面向 LLM 的本地化、模型无关记忆系统
作者发布了 Memoria 1.0.0,这是一个本地优先、模型无关的记忆系统,可用于 LLM 应用,无需 GPU 或云端 API 密钥即可运行。在 Intel Celeron N4020(3.7 GiB 内存)上进行基准测试,该系统在 LongMemEval-S 上采用并行的 FAISS、BM25、图检索、短语匹配、属性检索和时间检索,并结合多信号排序,取得了 89.8% 的 Recall@1 和 99.6% 的 Recall@50,可通过 PyPI 安装。
相同检索,不同答案:500个LongMemEval结果中32个翻转
本文强调,即使检索结果不变,由于读取器或评判器阶段的差异,Engrava这一记忆层工具的基准分数也可能发生变化,并使用LongMemEval结果来说明这一问题。