Paper page - Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

来源：https://huggingface.co/papers/2606.03979

摘要

采用睡眠与梦境范式的深度学习模型，能够通过记忆巩固和自我改进阶段实现持续学习。

过去数十年间，机器学习算法的设计取得了显著进步：从早期针对特定任务的浅层模型，发展到更通用的深度大语言模型（Large Language Models (https://huggingface.co/papers?q=Large%20Language%20Models)，LLMs）。尽管现有模型在需要即时预测或情景学习（in-context learning）的任务中表现出了令人期待的结果，但它们仍缺乏持续学习的能力，无法将其时间维度的情景知识有效迁移到长期参数中。受人类学习过程启发，我们引入了一种“睡眠”范式，使模型能够持续学习，通过重放将短期脆弱记忆蒸馏为稳定的长期知识，并借助“梦境”过程递归地进行自我改进。具体而言，睡眠包含两个阶段：（1）记忆巩固（Memory Consolidation (https://huggingface.co/papers?q=Memory%20Consolidation)）：一种向上的蒸馏过程，称为知识播种（Knowledge Seeding (https://huggingface.co/papers?q=Knowledge%20Seeding)），即将较小自身的记忆蒸馏到更大网络中，以在保留知识的同时提供更大容量。作为概念验证，我们提出了一种新的广义蒸馏（Generalized Distillation (https://huggingface.co/papers?q=Generalized%20Distillation)）过程用于知识播种（Knowledge Seeding (https://huggingface.co/papers?q=Knowledge%20Seeding)）（即，在线策略蒸馏与基于强化学习（Reinforcement Learning (https://huggingface.co/papers?q=Reinforcement%20Learning)，RL）的模仿学习的结合）；（2）梦境：一个自我改进阶段，模型利用强化学习生成合成数据的课程，以演练新知识并完善现有能力，无需人类监督。我们在长期、持续学习（continual learning (https://huggingface.co/papers?q=continual%20learning)）、知识融合以及少样本泛化任务上的实验支持了睡眠阶段的重要性。

查看 arXiv 页面 (https://arxiv.org/abs/2606.03979)查看 PDF (https://arxiv.org/pdf/2606.03979)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2606.03979)

在您的 agent 中获取本论文：

hf papers read 2606\.03979

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

未找到链接本论文的模型

在模型 README.md 中引用 arxiv.org/abs/2606.03979 即可从此页面链接。

引用本论文的数据集0

未找到链接本论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2606.03979 即可从此页面链接。

引用本论文的 Space0

未找到链接本论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2606.03979 即可从此页面链接。

包含本论文的收藏集0

未找到包含本论文的收藏集

将本论文添加到一个收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。