标签
Google Research 推出了一种用于大语言模型的“睡眠框架”，通过交替进行活跃的清醒阶段和离线的睡眠阶段，将短期上下文知识巩固到稳定的长期参数中，从而缓解灾难性遗忘，并能够保留多达 1000 万个词元的长上下文知识。
论文提出 Cortex 方法，通过生成前瞻性查询并将上下文条件化输出蒸馏为可合并的低秩或结构化前馈网络更新，实现将上下文增益固化到参数记忆中，在保留 99.8% 原有非目标任务性能的同时恢复 88.9% 的上下文增益。
AutoViewMem是一个数据驱动的框架，它将长期对话记忆组织为自配置语义视图，以提升LLM代理的检索和个性化能力，并在基准测试中表现出色。
本文详细描述了一项为期25周的AI智能体记忆系统实验，该系统采用情景记忆和语义记忆，并进行每夜整合，避免在记忆晋升过程中使用LLM，并使用四张独立的图分别表示关联、证据、因果和随时间变化，同时突出了如吸引子盆地等会降低检索效率的缺陷。
MemoryLACE是一个为长期LLM代理设计的轻量级记忆框架，它显式建模文本证据的生命周期以改善推理能力，无需全面的知识图谱，并在基准测试中实现更高的性能和更低的运行时间。
本文提出了一种新型神经架构4MAS，受生物双边性和记忆巩固启发，旨在解决终身学习中的灾难性遗忘问题，在基准数据集上取得了具有竞争力的结果。
LycheeMemory V2 为 LLM 智能体记忆引入了语义分段级整合，在 LoCoMo 和 LongMemEval 基准上降低了构建成本，同时提高或保持了准确率。
本文提出，人工智能记忆巩固应跨域重组知识（如同梦境），而非单纯重放经验，并证明跨域巩固在神经（LoRA微调）和符号系统中均能提升性能。
本文提出将模拟神经形态硬件上的固有器件噪声作为持续学习的资源，通过条件化每个权重的随机动力学以避免跨越记忆关键势垒，展示了非单调的保持性能提升，并在BrainScaleS-2硅基芯片上进行了验证。
提出一种面向LLM代理中代理记忆的认知启发的多因素价值函数，通过学习可解释的权重来决定在记忆约束下编码、遗忘和检索什么。相比仅基于相似性或基于最近性的基线方法，显著提高了黄金证据的保留率。
FadeMem 引入了一种距离感知的键值记忆整合机制，将历史视频数据组织成时间层次结构，在固定缓存约束下改进长视频生成。
本文提出了一种针对大型语言模型的“睡眠”范式，该范式通过记忆巩固和梦境阶段实现持续学习，使模型能够将短期知识提炼为长期参数，并在无需人工监督的情况下自我改进。
本文提出了一种类似睡眠的巩固机制，适用于基于Transformer的大语言模型，该机制定期将最近上下文转换为SSM块中的持久快速权重，清除KV缓存，从而在不增加推理延迟的情况下提升长期推理能力。
Auto-Dreamer 提出了一种针对语言代理的离线记忆整合学习方法，将快速记忆获取与慢速跨会话整合解耦，以更小的记忆库实现更高性能，并泛化到未见环境。