论文页面 - Crowded in B-Space：为 LoRA 合并校准共享方向

来源：https://huggingface.co/papers/2604.16826
发布于 4 月 18 日

由 https://huggingface.co/yixuantt 提交

yixuan (https://huggingface.co/yixuantt) 于 4 月 21 日

摘要

通过单独校准输出侧矩阵 B，可在减少共享方向干扰的同时保留任务特定信息，从而提升 LoRA 适配器合并性能。

将分别训练的 LoRA 适配器合并是联合多任务训练的可行替代方案，但往往会损害性能。现有方法通常把 LoRA 更新 ΔW = BA 视为整体，不区分两个 LoRA 矩阵。我们发现，LoRA 合并干扰的主要来源是输出侧矩阵 B：跨任务时，B 反复使用少量共享方向，而 A 则保持更强的任务特异性。结果，合并后的适配器过度强调这些共享方向，导致任务特定信息丢失。我们提出 Pico（Pre-merge interference calibration in output-space），一种无需数据的方法，在合并前通过降低过度共享方向的权重并重新缩放合并后的更新来校准 B。Pico 可直接嵌入现有合并方法，如 Task Arithmetic、TIES 和 TSV-M。在数学、编程、金融和医学领域的八个基准上，Pico 将对应基线方法的平均准确率提高 3.4–8.3 分，并取得最佳整体平均性能。Pico 还让合并后的适配器超越使用全部任务数据训练的 LoRA。这些结果表明，将两个 LoRA 矩阵分开处理能让合并效果更好。

查看 arXiv 页面 (https://arxiv.org/abs/2604.16826)
查看 PDF (https://arxiv.org/pdf/2604.16826)
加入收藏

在您的 agent 中获取本文：

hf papers read 2604.16826

还没装最新 CLI？
curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型引用本文
在模型 README.md 中引用 arxiv.org/abs/2604.16826 即可在此显示。

引用该论文的数据集 0

暂无数据集引用本文
在数据集 README.md 中引用 arxiv.org/abs/2604.16826 即可在此显示。

引用该论文的 Spaces 0

暂无 Space 引用本文
在 Space README.md 中引用 arxiv.org/abs/2604.16826 即可在此显示。

收录该论文的合集 0

暂无合集收录本文
创建合集 并将本文加入，即可在此显示。