同一系统，评分随评判者不同而大相径庭。你该如何解读记忆基准测试？

Reddit r/AI_Agents 新闻
memory-benchmarks llm-evaluation benchmark-reliability llm-judge agent-memory reproducibility

摘要

讨论了 LLM 记忆基准测试有多不可靠：同一套答案在 token 重叠 F1 下得分 51.4，而在 LLM 评判者下得分 75.8，分数随评判模型、读取记忆的模型以及运行次数剧烈波动；而且许多结果由厂商自行报告，噪声水平不明。

我读记忆基准测试结果有一阵子了，实在不确定该信多少。同一个系统，最终得分似乎取决于很多通常不会印在分数旁边的东西——比如由哪个模型读取检索到的记忆、由哪个模型评判答案，以及总共运行了多少次。我最近在这里看到一篇帖子，声称同一组答案在 token 重叠 F1 下得分 51.4，而在 LLM 评判者下得分 75.8。除此之外，我看到的很多数字都是厂商自己报告的，很少交代这些分数来自多少次运行，所以我根本不知道噪声有多大。是我考虑得太多了，还是这确实是真实存在的问题？你如何判断一个基准分数是否有意义？有没有某个已公布的分数真的改变过你选择的记忆工具？
查看原文

相似文章

要满足什么条件，你才会信任记忆基准测试的数字？

Reddit r/AI_Agents

作者批评了LLM记忆基准测试的可靠性，指出了诸如LoCoMo中错误黄金答案以及评分指标不一致导致巨大分数差距等问题。他们质疑从业者是否信任这些数字，并讨论了最近的改进，如LongMemEval的知识更新问题。

选择而非评判：由LLM评分的评估基准

arXiv cs.AI

本文探讨了基于LLM评分的基准测试的测量限制，指出其泛化能力受到评判者差异的影响，且协议设计对性能上限有显著影响，从而对AI基准测试方法具有借鉴意义。

有人注意到记忆API的基准测试数据不一致吗？

Reddit r/AI_Agents

这篇文章质疑了像Mem0和Zep这样的记忆API基准测试分数的可靠性，指出在LoCoMo基准测试中，自报数据与第三方数据存在显著差异，暗示这些指标可能更多是营销手段而非准确比较。