标签
本文提出了一种用于大语言模型的持续学习方法，该方法使用预训练的稀疏自编码器（SAEs）在激活空间而非权重空间中进行正则化，从而在无需存储先前数据的同时避免灾难性遗忘，并实现了更好的内存效率和更强的基准性能。