标签
本文构建了一个流式召回基准，将智能体与查询无关的记忆保留决策与查询相关的检索选择决策分离开来。研究发现，先前评估中报告的大部分记忆优势实际上是一种访问机制造成的假象，而在有限记忆条件下，召回率的上界由记忆保留率决定。
CAFE是一个开源平台，应用实验设计原则来评估复合AI系统，通过因子设计和混合效应模型将答案质量差异归因于组件及其交互作用。