标签
讨论了 LLM 记忆基准测试有多不可靠：同一套答案在 token 重叠 F1 下得分 51.4，而在 LLM 评判者下得分 75.8，分数随评判模型、读取记忆的模型以及运行次数剧烈波动；而且许多结果由厂商自行报告，噪声水平不明。
作者批评了LLM记忆基准测试的可靠性，指出了诸如LoCoMo中错误黄金答案以及评分指标不一致导致巨大分数差距等问题。他们质疑从业者是否信任这些数字，并讨论了最近的改进，如LongMemEval的知识更新问题。