标签
ForgetBench 引入了一个基准测试，用于系统地表征大型语言模型在持续知识编辑下的遗忘行为，通过基于概念和场景的问答来衡量时间衰减和保留动态。
本文介绍了 Memory Decoder at Scale，将参数化长期记忆模型扩展至 6.9B 参数，并在 300B token 上预训练，表明独立扩展记忆比单独扩展基础模型更具参数效率。
UniMem提出了一种自路由框架，结合了情景记忆与参数记忆用于LLM智能体，在无任务标签的边界无关任务流中实现自适应记忆管理。
MemSFT是一篇研究论文，提出通过使用外部参数化记忆来缓解大语言模型微调中的对齐税，该记忆将领域专业化与骨干网络参数更新解耦，从而能够跨不同规模的LLM重用，同时保持通用性能。
本文提出了一项对照研究，比较了仅注意力Transformer（简单注意力网络，SANs）与在参数、计算量和深度上匹配的标准Transformer。研究发现，当将释放的容量重新分配给注意力深度时，移除前馈层在很大程度上缩小了性能差距，剩余差距归因于参数回忆。
来自阿里巴巴/Qwen和北京大学的研究人员提出了TMEM——一种自进化参数化记忆框架。该框架利用在线LoRA权重更新，使LLM智能体能够在单个回合内真正从经验中学习，而非仅依赖提示空间中的记忆。TMEM在多个基准测试（包括LoCoMo、LongMemEval-S和CL-Bench）上均优于基于摘要和基于检索的基线方法。
本文使用LoRA作为探针，研究了大语言模型中参数化记忆的定量极限，建立了幂律关系，并引入了一种名为MemFT的阈值引导优化方法，以提升记忆性能。