forgetting-prevention

CRMA引入了一种谱界残差适配器，通过Sinkhorn归一化强制实现双随机混合矩阵，使LLM能够持续微调而不发生灾难性遗忘。在Mistral-7B和Gemma-2-9B上的实验结果表明，与冻结基底的基线相比，后向迁移得到改善，遗忘减少。