更换LLM很容易。但在生产环境中运行六个月后更换记忆层则完全是另一回事。
摘要
本文强调了在长期生产使用后更换LLM记忆层的困难，指出由于累积的声明和漂移，记忆锁定可能比模型切换更成问题。
到那时，你拥有数千条存储的声明、无法追踪的漂移以及没有干净的迁移路径。初始记忆选择的累积效应与初始模型选择不同。大多数团队直到为时已晚才意识到这一点。那么，是否有人在采用记忆工具之前评估其退出成本？还是大家仍然只关注首月的便利性，而后才发现被锁定？
相似文章
没人告诉你，在第六个月切换记忆工具和切换模型完全是两码事。
反思在AI Agent系统中经过数月生产后切换记忆工具的隐藏成本，与切换模型的微不足道形成对比。
LLMs与记忆限制——请审阅我的想法
本文分析了LLM记忆限制，认为真正的个人AI需要单租户权重定制，这与当前多租户云经济模式相冲突，并指出开源权重模型可能是进步的关键来源。
STALE：LLM智能体能否识别记忆何时失效？
本文识别了LLM智能体中的一个关键失效模式：当新证据与先前信念冲突时，它们无法更新个性化记忆。本文引入了STALE基准和一个三维探测框架，揭示了即使最佳模型也仅达到55.2%的准确率，并提出了CUPMem作为鲁棒记忆修正的原型。
在与20多个在生产环境中运行LLM的团队交流后，三个痛点反复出现
基于与20多个团队的对话，作者指出了在生产中使用LLM时反复出现的三个痛点：仅企业版提供的基础功能、缺乏代理可观测性、以及新模型支持缓慢。
从存储到经验：大语言模型智能体记忆机制演进综述
本综述论文提出了一种大语言模型（LLM）智能体记忆机制的演进框架，将其发展划分为三个阶段：存储、反思和经验。文章分析了长程一致性和持续学习等核心驱动力，旨在为下一代智能体的设计提供指导原则。