SeFoRA：具有异构客户端秩的草图聚合联邦低秩适配

arXiv cs.LG 论文
federated-learning low-rank-adaptation lora parameter-efficient-fine-tuning distributed-learning

摘要

SeFoRA 是一种提出的联邦 LoRA 算法，利用草图聚合来处理异构客户端秩并缓解双线性失配问题。它包含一个具有收敛保证的秩同质变体，并在 RoBERTa-Large 微调上展示了最先进的性能。

arXiv:2608.10144v1 公告类型：新 摘要：我们考虑使用低秩适配（LoRA,~Hu et al.\ 2022）对大型神经网络进行联邦参数高效微调。将 LoRA 与联邦 PEFT 结合带来了单独任一设置中都不存在的挑战：客户端可能使用不同的 LoRA 秩，导致其因子矩阵维度不兼容，并且逐因子平均会遭受双线性失配问题。我们提出了 SeFoRA，一种草图聚合联邦 LoRA 算法，其中每个客户端传输其本地更新的线性草图，从而能够在联邦服务器处直接聚合。因此，SeFoRA 缓解了双线性失配，并允许在全模型的一个小子空间中进行聚合。我们引入了一个称为 SeFoRA-Ho 的秩同质版本，该版本允许在此设置中直接进行适配器聚合。我们证明了在秩同质设置下以 $\cO(1/T)$ 的速率收敛到一阶驻点的一个邻域。在 GLUE 数据集上微调 RoBERTa-Large 的数值实验表明，我们的算法优于现有最先进方法。
查看原文
查看缓存全文

缓存时间: 2026/08/12 08:28 

# SeFoRA：异构客户端秩下的草图聚合联邦低秩适配

Yue Xia  
慕尼黑工业大学  
德国慕尼黑 80333  
[email protected]  
& Tayyebeh Jahani-Nezhad  
柏林工业大学  
德国柏林 10587  
[email protected]  
& Mayank Bakshi  
北亚利桑那大学  
美国亚利桑那州弗拉格斯塔夫 86011  
[email protected]  
& Rawad Bitar  
慕尼黑工业大学  
德国慕尼黑 80333  
[email protected]  

###### 摘要

我们考虑使用低秩适配（LoRA, Hu et al. 2022）对大型神经网络进行联邦参数高效微调。将LoRA与联邦PEFT结合会引入单独任一设置中都不存在的挑战：客户端可能使用不同的LoRA秩，导致其因子矩阵维度不兼容，并且逐因子平均会遭受双线性失配问题。我们提出SeFoRA，一种草图聚合的联邦LoRA算法，其中每个客户端传输其局部更新的线性草图，从而在联邦服务器处可以直接聚合。因此，SeFoRA缓解了双线性失配问题，并允许在全模型的一个小子空间中进行聚合。我们引入了一个秩同构版本，称为SeFoRA-Ho，它允许在该设置下直接进行适配器聚合。我们证明了秩同构设置下以`\mathcal{O}(1/T)`的速率收敛到一阶

相似文章

Hybrid-LoRA：桥接全微调与低秩适应的后训练方法

arXiv cs.LG

Hybrid-LoRA提出了一种框架，选择性地对一小部分模块进行全微调，同时对其他模块使用LoRA，在显著降低计算成本的同时实现了接近全微调的性能。实验表明，与现有参数高效基线方法相比，性能提升高达5.65%。

MoE$^2$-LoRA：当MoE模型遇上MoE风格的低秩适配

arXiv cs.CL

MoE2-LoRA 引入了一种双通道路由条件投影（Routing-Conditioned Projection）和一个全局 LoRA 专家池，以实现用于微调 MoE 模型的 MoE 风格低秩适配，在保留通用能力的同时取得了最先进的准确率。