parameter-interference

CollectionLoRA提出了一种多教师在线策略蒸馏框架，可将多达50种不同效果的LoRA蒸馏到单个LoRA中，在降低部署开销的同时保持概念保真度。

Mix-MoE提出了一种混合专家混合框架，通过专门的专家组和傅里叶变换增强的路由机制来缓解多语言机器翻译中的参数干扰，相比基线方法取得了显著改进。