weight-averaging

ORBIT提出了一种方法，通过跟踪参数距离并使用权重平均，缓解了为生成式检索微调的大语言模型中的灾难性遗忘，优于常见的持续学习基线。