AI持久记忆的漫漫长路

这是一个状态管理问题。我们需要一个系统，能够从对话中提取事实和事件，跟踪其重要性，并基于语义相关性和时间进行检索。然后，需要去重、矛盾处理、整合和衰减的机制。可能最关键的问题是决定什么信息进入上下文。不能每次推理都注入成千上万的记忆，这就是为什么需要检索、重排序和上下文压缩来选择最有用的子集。这意味着维护模型知识的演化状态，在事物变化时更新它，并知道哪些信息值得带入下一次交互。RAG可以检索外部信息，但这本质上仍然是一种检索游戏。记忆系统需要在上下文窗口之外维护一个持久状态。系统需要维护当前知识的持久表示，随着新信息的到来持续更新该状态，这与简单地扩展上下文窗口有根本不同。