要满足什么条件，你才会信任记忆基准测试的数字？

我正在做一个记忆评估，但在它是否值得构建这个问题上卡住了。过去几周，我没有看那些宣传文章，而是直接翻看了实际的基准测试仓库，有两件事让我印象深刻。 有一份公开的LoCoMo审计发现，1540个问题中有99个黄金答案错误，审计附带了代码和完整错误列表，方便你自行验证。这意味着真实的上限大约在93.5，而一些已发表的分数却高于这个值。 另一件事更让我困扰：我发现同一个仓库里，同一组预测在同一个提交文件中以三种方式评分，token重叠F1得分为51.4，而LLM裁判对相同答案的评分是75.8。没有人做了什么见不得人的事，这只是因为没有公认的度量标准所造成的。但仅仅评分方法不同就产生24分的差距，比人们争论的系统间绝大多数差距还要大。 所以，这里真的有人在选择记忆层时参考这些数字吗？还是说都是拿自己的数据在两个选项上跑一跑，看哪个更不让人烦？如果你确实会看，你的标准是什么？固定的裁判模型？发布每个问题的原始输出，让你自己重新计算？或者我没想到的东西？ 我有一半预期答案是：这些都不重要，大家只看文档和定价。 还有一件事，因为它在半路改变了我的想法。我看到很多抱怨都针对已修复的问题，“记忆基准测试不测试知识更新”这种说法经常出现，但LongMemEval恰好有78个这类问题，而且现在还有一个专门针对幻觉的独立基准。所以，一些被反复提及的批评实际上针对的是2024年的版本，我自己的假设可能也是如此。