knowledge-consolidation

Google 研究人员提出了一种名为 'Sleep' 的持续学习范式，通过蒸馏和回放将短期上下文知识整合到长期模型参数中。'Dreaming' 阶段则利用强化学习生成用于自我改进的合成课程。