lora-merging

CT-Merging 提出了一种通过从任务子空间投影器估计共识方向并分配任务级RMS系数缩放来合并LoRA适配器的方法，在DC-Merge CLIP适配器基准上取得了优越的性能。

本文介绍了偏好差值聚合（PDA）和几何对齐合并（GAM），通过LoRA合并将来自弱模型对的多个“弱”偏好信号进行聚合，在知识推理和智能体搜索任务上平均将强LLM的性能提升超过6%。