超越因子聚合：面向联邦 LoRA 的规范感知低秩服务器表示

# 超越因子聚合：用于联邦 LoRA 的规范感知低秩服务器表示

来源: https://arxiv.org/html/2605.06733
Jinqian Chen School of Software Engineering Xi’an Jiaotong University Xi’an, China 710000 chenjinqian@stu\.xjtu\.edu\.cn &Chang Liu School of Software Engineering Xi’an Jiaotong University Xi’an, China 710000 chang\.liu@stu\.xjtu\.edu\.cn &Jihua Zhu School of Software Engineering Xi’an Jiaotong University Xi’an, China 710000 zhujh@xjtu\.edu\.cn

###### 摘要

联邦 LoRA 使得在分散数据和受限客户端资源下对大型语言模型进行参数高效适应成为可能。然而，直接平均 LoRA 因子具有表示依赖性：相同的内在更新允许无限多种规范等价的因子分解，因此因子级别的聚合可能会随着任意坐标选择而改变，而底层更新保持不变。这揭示了现有联邦 LoRA 聚合规则中的语义不匹配。我们提出了 GLoRA，一种用于联邦 LoRA 的规范感知服务器表示。不同于聚合原始因子，GLoRA 从客户端投影器中估计共识更新子空间，并在共享参考坐标系中聚合客户端更新，从而完全以低秩形式表示语义更新聚合。为了支持异构客户端容量，GLoRA 还提供了秩兼容读出（rank-compatible readout），能够从同一服务器状态实例化不同秩的适配器，而无需重构稠密更新。在 GLUE 和 SuperNI 上的实验表明，GLoRA 在数据、资源和任务异构性方面（包括异构客户端秩、稀疏参与、更大骨干网络以及未见任务评估）始终优于联邦 LoRA 基线方法。GLoRA 还实现了良好的效率-性能权衡，表明有效的联邦 LoRA 不仅需要平均低秩因子，还需要为聚合定义具有语义意义的服务器端表示。

## 1 引言

联邦微调\[15 (https://arxiv.org/html/2605.06733#bib.bib1),23 (https://arxiv.org/html/2605.06733#bib.bib2)\]已成为在分散数据和客户端资源约束下适应基础模型的重要范式。在此设置中，参数高效微调（PEFT）\[8 (https://arxiv.org/html/2605.06733#bib.bib3),13 (https://arxiv.org/html/2605.06733#bib.bib4),24 (https://arxiv.org/html/2605.06733#bib.bib5)\]尤其具有吸引力，因为只需更新和通信模型参数的一小部分。在 PEFT 方法中，LoRA\[8 (https://arxiv.org/html/2605.06733#bib.bib3)\]特别引人注目：它将适应表示为低秩更新，因此有望实现轻量级本地训练和轻量级服务器聚合。这使得联邦 LoRA 成为跨异构客户端扩展大语言模型适应的自然候选方案。

尽管前景广阔，联邦 LoRA 暴露了*通信成本低廉*与*聚合意义*之间的根本不匹配。LoRA 更新表示为 $\Delta W=BA$，但这种因子分解并不唯一：相同的更新矩阵允许无限多种规范等价的实现 $(B,A)$ 和 $(BQ,Q^{-1}A)$。在集中式优化中，这种歧义往往暴露较少，因为因子保持为单个优化器的内部变量。而在联邦优化中，相比之下，LoRA 因子在客户端之间传输并复用作服务器端聚合对象。此时，这种歧义不再仅仅是代数上的；它成为了服务器更新规则本身的语义问题。如果服务器直接聚合原始因子，那么相同的内在客户端更新在规范等价重参数化下仍可能导致不同的服务器输出。换句话说，聚合规则不再定义于更新矩阵本身，而是定义于任意坐标实现上。

大量最近的联邦 LoRA 工作\[17 (https://arxiv.org/html/2605.06733#bib.bib6),16 (https://arxiv.org/html/2605.06733#bib.bib8),6 (https://arxiv.org/html/2605.06733#bib.bib9),2 (https://arxiv.org/html/2605.06733#bib.bib7)\]集中在*不精确聚合*问题上，即聚合乘积与聚合因子之间的不匹配。这一系列工作很重要，但它留下了一个更基本的问题未决：在询问因子级规则是否能恢复正确的聚合之前，必须先询问原始因子是否在语义上是有效的聚合对象。修复联邦 LoRA 中规范歧义的一种直接方法是直接聚合诱导的更新 $\Delta W_i=B_i A_i$，然后将结果重新因子分解以便再分发\[1 (https://arxiv.org/html/2605.06733#bib.bib10)\]。这避免了原始因子聚合的语义缺陷，但也迫使服务器回到稠密更新的实例化和矩阵分解。对于大型 Transformer 层，这意味着在 $\mathbb{R}^{d_{\mathrm{out}}\times d_{\mathrm{in}}}$ 中形成和分解矩阵，在大语言模型规模下这越来越不可取，并且与最初推动联邦 PEFT 的低秩效率前提背道而驰。

本文围绕以下问题构建：*我们能否在不过度依赖稠密更新聚合的情况下，保持更新级聚合的语义正确性？*我们通过将焦点从聚合规则转移到*服务器表示*来回答这个问题。我们的核心思想是，联邦服务器既不应聚合原始因子坐标，也不应实例化完整的稠密更新。相反，它应维护一种*规范感知的低秩表示*，以捕获当前轮次客户端更新的几何结构，并在共享参考系下表达它们。

我们在 GLoRA 中实例化了这一原则，这是一种用于联邦 LoRA 的规范感知低秩服务器表示。GLoRA 首先通过应用规范固定步骤将每个客户端更新重写为子空间-坐标形式：$B_i=U_i R_i$ 和 $A_i'=R_i A_i$，其中 $U_i$ 是客户端更新子空间的正交基。然后，服务器聚合规范不变投影器 $U_i U_i^\top$ 以估计共识子空间 $U_{\mathrm{ref}}$。最后，每个客户端更新被翻译到这个共享参考系中，并通过可比较的坐标进行聚合。生成的服务器状态 $(U_{\mathrm{ref}},A_{\mathrm{global}})$ 保持低秩，但精确对应于稠密更新平均在学习到的共识子空间上的投影。对于异构客户端，GLoRA 从同一服务器状态读出不同秩的适配器，避免了单独的聚合对象或稠密重新因子分解。我们在 GLUE\[19 (https://arxiv.org/html/2605.06733#bib.bib11)\]和 SuperNI\[20 (https://arxiv.org/html/2605.06733#bib.bib12)\]上评估了 GLoRA，考虑了数据异构性、异构客户端秩、稀疏参与、更大骨干网络以及未见任务评估。在这些设置下，GLoRA 始终优于基于直接因子聚合的联邦 LoRA 基线，并与稠密更新聚合方法相比实现了良好的效率-性能权衡。这些结果表明，联邦 LoRA 的关键设计选择不仅仅是如何平均低秩因子，而是服务器端的什么对象应该代表聚合更新。贡献总结如下：

- • 我们识别*规范依赖性*作为因子级联邦 LoRA 聚合的语义失败模式。与询问因子级规则是否能恢复期望的乘积级聚合的不精确聚合问题不同，规范依赖性询问一个更基本的问题：原始 LoRA 因子是否在表示上是不变的聚合对象。
- • 我们提出了 GLoRA，一种用于联邦 LoRA 的规范感知聚合方法。GLoRA 维护紧凑的低秩服务器状态，通过共识子空间和共享参考坐标聚合客户端更新，并通过秩兼容读出实例化异构客户端，避免了原始因子聚合和稠密更新实例化。
- • 我们在存在稀疏参与的数据、资源和任务异构性下，在 GLUE 和 SuperNI 上进行了广泛实验。结果表明，GLoRA 始终优于联邦 LoRA 基线，可扩展到更大的骨干网络，并与稠密更新聚合相比实现了良好的效率-性能权衡。

## 2 相关工作

参见图注
**图 1：** 联邦学习中规范感知 LoRA 聚合的动机。规范等价因子，例如 $(B,A)$ 和 $(BQ,Q^{-1}A)$，表示相同的更新 $\Delta W=BA$，但在原始因子聚合下可能产生不同的服务器模型。验证实验显示，现有的因子聚合方法对规范敏感，而 GLoRA 实现了近零的聚合不一致性。

#### 参数高效微调。

参数高效微调（PEFT）通过仅更新参数的小子集来适应大型预训练模型。代表性方向包括基于适配器的微调\[7 (https://arxiv.org/html/2605.06733#bib.bib13)\]、基于提示/前缀的微调\[10 (https://arxiv.org/html/2605.06733#bib.bib14),9 (https://arxiv.org/html/2605.06733#bib.bib15)\]，以及如 IA3\[12 (https://arxiv.org/html/2605.06733#bib.bib16)\] 的多重调制方法。其中，LoRA\[8 (https://arxiv.org/html/2605.06733#bib.bib3)\] 因其低秩参数化和合并后的零额外推理延迟而变得特别具有影响力。随后的变体主要在集中式设置中改进 LoRA，例如 AdaLoRA\[24 (https://arxiv.org/html/2605.06733#bib.bib5)\] 中的自适应秩分配、QLoRA\[5 (https://arxiv.org/html/2605.06733#bib.bib17)\] 中的量化感知微调，以及 DoRA\[13 (https://arxiv.org/html/2605.06733#bib.bib4)\] 中的增强分解。这些方法显著提高了 PEFT 的效率和表达能力，但它们并未解决跨联邦客户端聚合 LoRA 更新的服务器端语义有效性问题。

**联邦 LoRA。** 最近的工作将 LoRA 纳入基础模型的联邦微调。第一类研究直接聚合 LoRA 因子或修改因子级聚合规则，包括 FedIT\[23 (https://arxiv.org/html/2605.06733#bib.bib2)\], FFA-LoRA\[17 (https://arxiv.org/html/2605.06733#bib.bib6)\], FedSA-LoRA\[6 (https://arxiv.org/html/2605.06733#bib.bib9)\], LoRA-FAIR\[2 (https://arxiv.org/html/2605.06733#bib.bib7)\], 和 FedEx-LoRA\[16 (https://arxiv.org/html/2605.06733#bib.bib8)\]。这些方法主要侧重于减少聚合误差、提高鲁棒性或解决代数*不精确聚合*问题。我们的工作观点不同：我们不是询问如何更准确地聚合 LoRA 因子，而是询问一个逻辑上更优先的问题——在规范歧义下，原始因子坐标是否在语义上是有效的服务器端聚合对象。第二类工作研究联邦 LoRA 中的异构性，特别是异构客户端秩和系统预算。HetLoRA\[4 (https://arxiv.org/html/2605.06733#bib.bib18)\], FLoRA\[21 (https://arxiv.org/html/2605.06733#bib.bib19)\], 和 FlexLoRA\[1 (https://arxiv.org/html/2605.06733#bib.bib10)\] 为异构客户端设计了秩自适应或资源感知的再分发机制。这些方法强调了客户端异构性的实际重要性，但它们并未直接解决本文提出的表示问题。相比之下，我们将异构秩视为问题的起点，而是作为服务器端表示必须自然支持的设计约束。

## 3 重新思考分布式优化中的 LoRA

### 3.1 LoRA 是一种等价类参数化

LoRA 将适应矩阵表示为低秩乘积 $\Delta W=BA$，其中 $B\in\mathbb{R}^{d_{\mathrm{out}}\times r}$ 和 $A\in\mathbb{R}^{r\times d_{\mathrm{in}}}$，且 $r\ll\min(d_{\mathrm{out}},d_{\mathrm{in}})$。这种表示高效但不唯一。对于任意可逆矩阵 $Q\in\mathrm{GL}(r)$，

$$BA=(BQ)(Q^{-1}A). \quad (1)$$

因此，LoRA 更新不是由唯一的因子对标识的，而是由引起相同更新矩阵的因子分解等价类标识的。

###### 定义 1（规范等价的 LoRA 因子分解）

如果存在可逆矩阵 $Q\in\mathrm{GL}(r)$ 使得 $\tilde{B}=BQ, \tilde{A}=Q^{-1}A$，则两个因子对 $(B,A)$ 和 $(\tilde{B},\tilde{A})$ 是*规范等价的*。它们的等价类为

$$[(B,A)]=\{(BQ,Q^{-1}A):Q\in\mathrm{GL}(r)\}.$$

这种歧义在集中式训练中往往暴露较少，因为因子保持为单个优化器的内部变量。然而，在分布式优化中，LoRA 因子不再是私有坐标：它们在客户端之间传输，必须作为服务器端聚合对象。此时，规范歧义不再仅仅是代数上的麻烦。它成为了服务器更新规则本身的语义问题。

### 3.2 分布式 LoRA 需要规范不变的服务器更新规则

考虑第 $t$ 轮，活动客户端集合为 $\mathcal{C}_t$。每个客户端 $i\in\mathcal{C}_t$ 产生一个本地 LoRA 更新 $\Delta W_i^t=B_i^t A_i^t$，其中 $(B_i^t,A_i^t)$ 仅是等价类 $[(B_i^t,A_i^t)]$ 的一个代表。因此，分布式 LoRA 方法可以抽象为服务器更新规则 $\Omega^{t+1}=\Psi(\{(B_i^t,A_i^t)\}_{i\in\mathcal{C}_t}, \Omega^t)$，其中的核心问题是 $\Psi$ 是否依赖于内在客户端更新 $\{\Delta W_i^t\}$，还是依赖于用于表达它们的任意因子坐标。

###### 定义 2（规范不变的状态更新）

如果对于任何轮次 $t$ 和任何可逆矩阵集合 $\{Q_i\}_{i\in\mathcal{C}_t}$，有

$$\Psi\left(\{(B_i^t,A_i^t)\}_{i\in\mathcal{C}_t},\Omega^t\right)=\Psi\left(\{(B_i^t Q_i,Q_i^{-1}A_i^t)\}_{i\in\mathcal{C}_t},\Omega^t\right),$$

则服务器更新规则 $\Psi$ 是*规范不变的*。

定义 2 形式化了分布式 LoRA 的最小要求：服务器应对底层更新本身作出响应，而不是对任意因子坐标作出响应。这立即解释了为什么直接因子空间聚合是有问题的。任何显式操作于 $(B_i,A_i)$ 而不仅操作于 $\Delta W_i=B_i A_i$ 的规则，通常会在规范等价重参数化下改变其输出，即使底层客户端更新保持不变（见图 1 面板 3）。

#### 讨论：规范不变性与不精确聚合。

现有的联邦 LoRA 方法通常强调*不精确聚合*问题，即 $\sum_i B_i A_i \neq (\sum_i B_i)(\sum_i A_i)$，这询问因子级规则是否能恢复期望的更新聚合...