标签
本文将上下文蒸馏表述为一个潜在记忆管理问题，提出一个框架，将蒸馏后的上下文存储为独立的LoRA适配器，并通过检索、路由和自门控机制来提高鲁棒性和效率。
MeMo 引入了一种模块化记忆模型，可为任何 LLM 增强存储、检索和整合新知识的能力，无需重新训练或担心灾难性遗忘。它在 BrowseComp-Plus、NarrativeQA 和 MuSiQue 等基准测试上优于基于 RAG 的方法。