replay-methods

本文介绍了间隔重复训练（SRT），一种用于语言模型持续预训练的框架，它使用受认知科学启发的自适应复习调度来缓解灾难性遗忘。它改善了稳定性-可塑性权衡，增强了旧知识的保留同时获取新信息。