标签
Napster已转型为AI代理平台,说明AI训练数据如何迅速过时,导致模型在关于公司身份的信息上提供自信但不正确的答案。
本文认为,智能体记忆系统的评估只看召回率,而不看召回的事实是否仍然为真;并提出一个“过时正确性”(correctness under staleness)基准,结果显示向量存储在 68% 的情况下会返回过时事实。
讨论AI智能体可靠性中的一个盲点:缓存在获取时是真实的事实,但在使用时已经过时,导致一致但不正确的行为。提出将一致性(与源匹配)与时效性(源目前仍然真实)分开,并询问社区如何处理这个问题。
提出了一种无需训练的多跳检索增强生成方法,避免在底层数据变化时进行昂贵的图重建,解决了动态环境中的过时问题。