标签
作者批评了LLM记忆基准测试的可靠性,指出了诸如LoCoMo中错误黄金答案以及评分指标不一致导致巨大分数差距等问题。他们质疑从业者是否信任这些数字,并讨论了最近的改进,如LongMemEval的知识更新问题。
该文章讨论了AI Agent记忆的实现,介绍了EverOS系统的LoCoMo准确率93.05%可复现,及Skill自进化机制,并预告月底有新酷炫产品上线。