标签
Kyutai Labs 训练60亿参数模型，使用按时间顺序从2018年到2025年排列的Common Crawl数据，表明近期年份上的性能下降消失，并开源检查点以供持续学习研究。
本文针对顺序训练的早退出神经网络中的灾难性遗忘问题，提出了两种分别基于弹性权重巩固（Elastic Weight Consolidation）和无遗忘学习（Learning without Forgetting）的方法，旨在在添加新退出点的同时保留早期退出点的性能。