论文页面 - 并非所有秩都平等：跨任务预算感知LoRA合并

来源：https://huggingface.co/papers/2609.22237

摘要

合并低秩适配器（LoRAs）有望消除推理时切换任务特定权重的开销。然而，现有的合并方法假设每一层都需要相同的秩预算。更进一步，某些方法还假设秩预算需要在各任务间均等分配。我们证明，这种统一预算假设是合并后性能与单任务LoRA性能之间差距的主要来源。然而，秩的选择本身是一个NP难问题。为此，我们引入了“净效用”（Net Utility）这一无需数据的度量指标。该方法首先将每个任务的LoRA通过其奇异值分解（SVD）进行分解，并根据每个奇异方向的任务效用及其对其他任务方向的干扰程度为其评分。接下来，我们对这些分数进行全局池化，以在所选方向总数受限的约束下，选出数值最高的奇异方向。所提出的净效用度量指标应用于五种不同的合并方法以及三个不同的合并空间之上。合并工作在两组任务上完成，分别涉及视觉任务和语言任务。基于净效用的秩分配方法优于未进行此类分配的对应方法。平均而言，它在视觉任务上实现了+2.1%的性能提升，在语言任务上实现了+2.2%的性能提升。

查看arXiv页面 (https://arxiv.org/abs/2609.22237) 查看PDF (https://arxiv.org/pdf/2609.22237) 添加至收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.22237)

在你的代理中获取本文：

hf papers read 2609.22237

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

无模型链接本文

在模型的README.md中引用 arxiv.org/abs/2609.22237 以从本页面链接。

引用本文的数据集 0

无数据集链接本文

在数据集的README.md中引用 arxiv.org/abs/2609.22237 以从本页面链接。

引用本文的空间 0

无空间链接本文

在空间的README.md中引用 arxiv.org/abs/2609.22237 以从本页面链接。

包含本文的集合 0

无集合包含本文

将本文添加至集合 (https://huggingface.co/new-collection) 以从本页面链接。