（谷歌研究）睡眠框架：让大语言模型在持续学习中保留知识的新方法

# 睡眠框架：让大语言模型在持续学习中保留知识的新方法 来源：https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/ 现代大语言模型通过预训练和上下文学习 (https://ai.stanford.edu/blog/understanding-incontext/)\(ICL\) 取得了令人瞩目的表现。然而，一旦部署，它们大多就保持静态，其知识截止日期固定，导致它们无法获得长期能力，也无法适应新信息。 虽然使用新数据更新模型似乎是显而易见的解决方案，但持续更新参数往往会引发灾难性遗忘 (https://en.wikipedia.org/wiki/Catastrophic_interference)，这一根本性问题表现为：学习新任务会严重降低模型在先前已学任务上的表现。另一种做法是完全依赖 ICL，但这会将知识保留限制在当前的上下文窗口内：一旦上下文会话结束，获得的短期信息就会被遗忘。 受到人脑在休息期间处理和稳固记忆方式的启发，我们在持续学习中引入了睡眠框架 (https://arxiv.org/pdf/2606.03979)：这是一种赋予大语言模型 \(LLM\) 持续的*周期性*生命周期的学习范式，使其能够不断学习，将脆弱的短期上下文巩固为稳定的长期参数。通过这一框架，我们证明，在主动交互与离线记忆巩固之间交替切换，可以让大语言模型持续获取新事实、保留长达 1000 万个词元的长上下文知识，并提高复杂推理能力。 ## 重新思考机器学习：活跃 \(清醒\) 阶段与睡眠阶段 传统机器学习严格区分训练与推理。在持续学习框架中，这种区分变得人为；智能体必须不断学习、适应并处理信息。 在睡眠范式下，大语言模型在两种主要状态之间运行： 1. **活跃 \(清醒\) 阶段**：模型主动接收、处理输入并与之交互，将临时信息存储在快速的短期记忆组件中。 2. **睡眠阶段**：模型暂停处理新输入，将其内部计算转向记忆巩固和自我改进。 虽然“睡眠”“做梦”和“自我改进”等术语借鉴了神经科学，但我们的框架完全在固定的模型架构和人类定义的训练规则内运行。在离线睡眠阶段，模型会解锁预先分配的混合专家 \(MoE\) 记忆块，并利用自行生成的练习样例更新其数值权重。这种自动化的后训练循环有助于已部署的模型吸收新事实、提高推理准确性，同时保持其核心代码库和设计不变。 ## 睡眠过程的关键组成部分 睡眠范式通过记忆巩固和做梦这两个阶段，解决灾难性遗忘和持续适应问题。 ### 1\. 记忆巩固 在人脑中，非快速眼动 (https://en.wikipedia.org/wiki/Non-rapid_eye_movement_sleep)\(NREM\) 慢波睡眠通过抽象和蒸馏，将脆弱的记忆巩固为长期结构。我们提出的睡眠框架通过两种关键技术机制模拟这一自然现象： - **参数扩展与连续体记忆层次结构：**为防止灾难性遗忘，模型在睡眠期间动态扩展其容量。通过混合专家 (https://huggingface.co/blog/moe)\(MoE\) 和 Hope (https://arxiv.org/abs/2512.24695) 架构，新解锁的低秩专家被整合到稳定、更新频率较低的记忆块中，以存储新接收的知识，同时不干扰旧参数。 - **知识播种 \(向上蒸馏\)：**存储在高频层中的脆弱短期记忆 \(例如上下文记忆\) 被转移到新扩展的长期参数中。这通过广义知识蒸馏 (https://huggingface.co/docs/trl/en/gkd_trainer)\(GKD\) 与基于强化学习 (https://www.geeksforgeeks.org/machine-learning/what-is-reinforcement-learning/)\(RL\) 的模仿学习 (https://en.wikipedia.org/wiki/Imitation_learning) 相结合来实现：- **同策略蒸馏：**扩展后的学生模型从教师模型针对自行采样序列生成的分布中，学习针对各个词元的反馈。 - **学习模仿 \(LTI\)：**学生模型在续写教师生成文本的前缀时，会根据语义相似度和绝对相似度 \(莱文斯坦距离 (https://en.wikipedia.org/wiki/Levenshtein_distance)\) 获得奖励。 - **突触修剪：**一旦完成向低频模块的记忆巩固，高频临时参数就会被重置，为未来的活跃会话释放容量。 ### 2\. 通过做梦实现自我改进 在快速眼动睡眠 (https://www.thensf.org/what-is-rem-sleep/) 期间，人脑会主动模拟情境、巩固情感和语义联系，并探索新的神经通路。与此类似，在“做梦阶段”，睡眠框架会执行自主的自我改进循环： - **随机专家选择：**在生成合成数据时，MoE 路由器会随机激活通常不会选用的专家。这迫使模型融合不同知识领域，并发现潜在模式。 - **精选演练：**模型生成合成训练样本 \(“梦境”\)，并使用基于梯度的数据选择方法进行筛选，优先保留最有潜力提高模型整体能力的样本。 - **强化学习优化：**模型对评分最高的梦境样本进行监督微调，并评估所生成的内容是否改善了下游任务表现。 ## 理论基础 除了实证结果，我们的睡眠范式还建立在一套理论之上，阐明其两个阶段 \(记忆巩固和做梦\) 为何能够支持持续学习，而不只是以旧能力换取新知识。 对于记忆巩固，分析表明，知识播种可以被理解为一个结构化的低秩压缩问题。模型无需将短期记忆痕迹的每个细节都复制到参数中。相反，它会识别出一组紧凑的方向，以尽可能保留模型自身的同策略行为，以及学习目标所奖励的语义特征。 这一视角解释了两种信号的互补作用：同策略蒸馏使记忆巩固与模型在推理时实际会产生的轨迹保持一致，减少仅使用教师生成的分布进行训练时可能出现的不匹配；与此同时，语义奖励改变了哪些内容值得保留，优先选择能够保留含义和任务相关行为的方向，而不只是匹配词元概率。随后，参数扩展提供所需容量，使这些选定的记忆得以写入，而不覆盖此前已巩固的知识。 对于做梦，理论将随机专家激活和基于奖励的样本选择描述为改善学习几何结构的机制。引入不同的 MoE 扩大了合成生成过程中探索的梯度方向集合，使模型接触到比仅由常规清醒阶段数据所产生的更新更丰富的更新集合。随后，基于梯度的筛选会突出那些携带最有用学习信号的合成经历，在保留底层梯度空间结构的同时，增强富含信息的方向。 这些步骤共同形成了更均衡的优化景观：学习过程较少受到少数方向的主导，梯度的条件性得到改善，模型在优化自身能力时能够取得更稳定的进展。从这一角度看，做梦不只是利用自行生成的数据进行数据增强；它是一个有目的的过程，通过使更新多样化、筛选更新并巩固更新，让模型实现自我改进。 对于满语和卡拉芒语等此前未见语言的持续翻译 (https://arxiv.org/abs/2512.24695) 任务，睡眠框架在多阶段评估中保持了接近零的性能下降，而 ICL、Cartridges (https://arxiv.org/abs/2506.06266) 和监督微调 (https://cameronrwolfe.substack.com/p/understanding-and-using-supervised)\(SFT\) 等标准基线方法在顺序学习期间遭遇了严重的灾难性遗忘。 在 BABILong (https://arxiv.org/abs/2406.10149) 基准的长上下文理解任务中，我们的睡眠方法利用睡眠期间的巩固，将长上下文信息直接压缩到参数化记忆中，在上下文长度扩展至 1000 万个词元时仍表现近乎完美，超越了 GPT\-4 (http://openai.com/index/gpt-4-research/) 和 Titans (https://research.google/blog/titans-miras-helping-ai-have-long-term-memory/) 等强大基线方法。 在通过 SQuAD (https://deepeval.com/docs/benchmarks-squad) 和持续预训练 (https://docs.aws.amazon.com/nova/latest/userguide/nova-cpt.html)\(CPT\) 评估的事实知识融入任务中，我们的睡眠方法在单任务和 CPT 评估中分别达到了 48\.9% 和 46\.2%，超越了基础模型、SFT 和自适应语言模型 (https://arxiv.org/abs/2506.10943)\(SEAL\) 等基线方法，成功整合了新的事实信息，同时没有损害模型现有的表征。 最后，在 AIME 24/25 (https://artificialanalysis.ai/evaluations/aime-2025) 和 HMMT 25 (https://intuitionlabs.ai/articles/hmmt25-ai-benchmark-explained) 等数学推理基准上，经过睡眠增强的基础模型分别取得了 79\.2%、69\.0% 和 46\.1% 的准确率。这超过了 SFT、组相对策略优化 \(GRPO\) 和同策略自蒸馏 \(OPSD\) 等基线方法，表明将记忆巩固与模仿学习相结合能够带来更出色的推理表现。 ## 结论 我们的睡眠范式为自主、持续学习的 AI 系统提供了一条路径。通过超越静态预训练和脆弱的上下文窗口，在主动学习与离线休息之间交替切换，大语言模型能够保留短期记忆、将新技能抽象为长期参数结构，并持续自我改进，而不发生灾难性遗忘。 ## 致谢 *本研究* (https://arxiv.org/abs/2606.03979)*由 Ali Behrouz \(Google 和康奈尔大学\)、Farnoosh Hashemi \(康奈尔大学\)、Adel Javanmard \(Google 和南加利福尼亚大学\) 以及 Vahab Mirrokni 开展。我们感谢 Yuan Deng 和 Corinna Cortes 对本研究的审阅及其宝贵建议。我们还感谢 Mark Simborg、Kimberly Schwede 和 Tim Herrmann 为撰写这篇博客文章提供的帮助。*