lora-merging

本文介绍了Net Utility，一种用于预算感知LoRA合并的无数据度量，它优化跨任务的秩分配，在视觉任务上实现+2.1%的改进，在语言任务上实现+2.2%的改进，优于均匀方法。

CT-Merging 提出了一种通过从任务子空间投影器估计共识方向并分配任务级RMS系数缩放来合并LoRA适配器的方法，在DC-Merge CLIP适配器基准上取得了优越的性能。

本文介绍了偏好差值聚合（PDA）和几何对齐合并（GAM），通过LoRA合并将来自弱模型对的多个“弱”偏好信号进行聚合，在知识推理和智能体搜索任务上平均将强LLM的性能提升超过6%。