PFAdapter：面向个性化联邦多模态大语言模型的分层LoRA分解

# PFAdapter：面向个性化联邦多模态大语言模型的分层LoRA分解
来源：https://arxiv.org/html/2607.12111
Jing LiuID (https://orcid.org/0000-0002-2819-0200), , Kun YangID (https://orcid.org/0000-0002-9956-2200), Yan WangID (https://orcid.org/0000-0002-4953-2660), Dingkang YangID (https://orcid.org/0000-0003-1829-5671), Xiaoshuai HaoID (https://orcid.org/0009-0007-4209-6695), Wei ZhangID (https://orcid.org/0009-0002-3238-7898), Yang LiuID (https://orcid.org/0000-0002-1312-0146), , and Wei ZhouID (https://orcid.org/0000-0003-3641-1429)Jing Liu 目前就职于复旦大学未来信息技术学院，上海 200433，中国，同时隶属于昆山杜克大学自然与应用科学部，苏州 215316，中国，以及不列颠哥伦比亚大学电气与计算机工程系，BC V6T 1Z4，加拿大 \(e\-mail: jing\.liu@ieee\.org\)。Kun Yang 目前就职于蚂蚁集团，同时隶属于浙江大学信息与电子工程学院，杭州 310013，中国 \(e\-mail: kunyang20@zju\.edu\.cn\)。Yan Wang 目前就职于华东师范大学数据科学与工程学院，上海 200062，中国 \(e\-mail: yanwang@dase\.ecnu\.edu\.cn\)。Dingkang Yang 目前就职于复旦大学智能机器人与先进制造学院 & Fysics AI，上海 200433，中国 \(e\-mail: dkyang20@fudan\.edu\.cn\)。Xiaoshuai Hao 目前就职于小米汽车，小米科技园，北京市海淀区安宁庄路，100085，中国 \(e\-mail: haoxiaoshuai@xiaomi\.com\)。Wei Zhang 目前就职于新加坡理工大学信息与通信技术集群，新加坡 828608 \(e\-mail: wei\.zhang@singaporetech\.edu\.sg\)。Yang Liu 目前就职于同济大学电子与信息工程学院，上海 201804，中国 \(e\-mail: yang\_liu@ieee\.org\)。Wei Zhou 目前就职于卡迪夫大学计算机科学与信息学院，CF24 4AG Cardiff, U\.K\. \(e\-mail: zhouw26@cardiff\.ac\.uk\)。

###### 摘要

自主智能体AI系统通过部署能够协作学习并在网络边缘维护数据隐私的自主智能体，正在重塑通信与网络形态。在分布式网络环境中，多模态大语言模型(MLLMs)作为边缘设备的认知引擎，然而联邦微调在异构网络条件下平衡全局知识聚合与本地适应方面面临着巨大挑战。传统的联邦协议通常依赖统一的参数聚合，这会将领域不变特征与客户端特定细节混为一谈，从而导致个性化效果不佳和通信开销过大。为应对这些挑战，我们提出PFAdapter，一个通信高效的框架，它引入分层LoRA分解，将适配器参数明确区分为全局共享和本地私有组件。查询和键投影被分配给全局同步，以捕获网络中的通用多模态语义，而值和输出投影则保持本地化，用于边缘特定适应。此外，基于Frobenius范数的正交正则化强制这些组件之间的严格分离，防止冗余特征学习。选择性聚合协议仅在整个联邦网络中同步全局共享组件，从而保留本地专业知识并将通信成本降低近50%。在医学VQA和社交多模态基准上的实验表明，PFAdapter持续优于匹配的联邦LoRA基线，同时将同步的适配器流量几乎减半。这些结果表明，在资源受限的边缘网络中，投影级分解为实现通信高效的自主智能体MLLM部署提供了一条实用路径。

###### 索引术语：

联邦学习，边缘智能，多模态大语言模型，通信效率，自主智能体AI，个性化，参数高效微调

## I 引言

自主智能体AI代表了现代通信网络的一种变革性范式，其中自主智能体协作处理网络边缘的多模态信息，同时将原始训练数据保留在本地客户端上\[baltruvsaitis2018multimodal,radford2021learning\]。多模态大语言模型(MLLMs)作为部署在分布式网络系统中的智能代理的认知核心，能够对文本、图像和传感器数据等异质数据模态进行复杂推理\[liu2025storageaware,mao2025optimizing,liu2026semantic\]。在制造业异常检测、自动驾驶和医疗诊断等紧迫部署场景中，联邦学习使得无需集中数据聚合即可进行协作模型训练。将联邦学习与MLLM集成，对于在下一代通信网络中实现可扩展的数据本地化自主智能体系统至关重要。我们特意使用这种表述：联邦学习将原始样本保留在设备上，但本身并不能保证抵抗更新反转、梯度泄露或成员推断攻击。因此PFAdapter的隐私范围仅限于去中心化训练，而不进行集中原始数据汇集，关于更强攻击模型的讨论推迟到第V-C节。

在异构边缘网络上部署联邦MLLM带来了巨大挑战，这些挑战源于本地数据分布和网络条件的极端差异。标准的全局模型由于采用忽略本地数据特征的统一聚合策略，常常无法在专门的边缘任务上达到最佳性能。因此，开发个性化联邦学习方法对于边缘智能系统变得至关重要，使其能够在利用集体知识的同时适应本地细微差别。

在分布式通信网络中，有效的MLLM个性化受到基本技术障碍的阻碍。平衡通用多模态表示与边缘特定任务专业知识，对网络部署的智能体构成了首要挑战，其中统一的参数聚合会导致灾难性的权重冲刷，通过全局平均稀释关键的客户端特定模式。在制造业异常检测中，捕获设备特定故障特征的扩展本地训练，在聚合后反而会降低目标性能，并且从根本上破坏了模型可靠性，因为擦除了对安全关键自主系统至关重要的校准。尽管早期的FL方法尝试通过近端正则化、多任务学习和元学习进行缓解，但高维MLLM参数空间常常导致联邦网络中的个性化不足或灾难性遗忘。通信开销是跨带宽受限边缘网络部署联邦MLLM的关键瓶颈。即使采用参数高效微调技术，MLLM骨干网络也给资源有限的边缘设备带来了高昂的同步成本。在典型的工业边缘部署中，每轮传输数亿字节的适配器参数会累积显著的延迟，对于时间敏感的应用来说在操作上不可接受。现有的解决方案常常忽视适配器参数内的冗余，统一传输所有模块，尽管某些组件捕获通用特征，而其他组件则高度特定于任务，从而浪费了稀缺的网络资源。

参见图1标题图1：联邦MLLM微调中的挑战及我们提出的解决方案。(a) 现有的FL方法统一聚合所有模型参数，导致通信成本高、客户端特定知识丢失，以及在异质数据分布下个性化效果差。(b) PFAdapter引入了分层LoRA分解与选择性聚合，其中只有全局共享适配器被同步，而本地私有适配器保留在设备上。最近在联邦MLLM微调方面的进展引入了各种策略来缓解通信挑战。系统分析揭示，所有LoRA模块的统一聚合会混淆领域不变特征与客户端特定细节。此外，包括FedPer和FedRep在内的方法尝试将模型拆分为全局层和局部层，但其在复杂MLLM架构上的应用仍然不够理想。观察到的局限性凸显了在适配器空间内实现精确知识分离的关键差距。

为了解决边缘网络中的通信和个性化挑战，我们提出了PFAdapter，一种通过分层适配器分解实现的自主智能体MLLM部署的资源高效联邦学习框架。如图1所示，我们的框架根据自注意力投影的功能角色，将适配器参数明确区分为全局共享和本地私有集合，其中查询和键投影捕获通用多模态语义用于全局同步，而值和输出投影则保持本地化用于边缘特定适应。正交正则化通过最小化全局和本地参数矩阵之间的内积来强制严格分离，从而减少各自特征子空间中的干扰，同时最大化互补表示能力并防止冗余特征学习。本工作的主要贡献总结如下：

- •我们为MLLM适配器引入了一种新颖的架构分解，根据投影模块在捕获多模态语义与边缘特定特征方面的功能角色，将其分类为全局和本地组件。
- •我们提出了基于Frobenius范数的正交正则化，以最小化全局和本地适配器权重之间的相关性，确保分布式智能体的精确知识分离。
- •我们开发了一种通信高效的同步策略，仅传输全局共享参数，将网络流量减少近50%，同时保留本地边缘专业知识。
- •我们在医学VQA和社交多模态基准上进行了评估，展示了在匹配的联邦LoRA协议下，在准确性、鲁棒性和通信效率方面的持续改进。

本文的其余部分组织如下。第II节回顾了联邦学习和MLLM微调的相关工作。第III节提供了必要的预备知识和问题公式化。第IV节详细介绍了所提出的PFAdapter框架及其技术组件。第V节描述了实验设置并分析了结果。最后，第VI节总结全文。附加的理论分析、实现细节和扩展实验结果在补充材料中提供，LABEL:supp:sec:supp\_theory,LABEL:supp:sec:supp\_protocol\_results和LABEL:supp:sec:supp\_extended\_interpretation。

## II 相关工作

### II-A 大语言模型的联邦学习

大型语言模型(LLM)和多模态大语言模型(MLLM)的联邦微调已成为一个关键研究方向，这是由于对跨机构协作学习的需求日益增长，而这些机构无法集中汇集原始多模态数据。早期的联邦学习框架，如FedAvg，为去中心化模型训练奠定了基础，但它们是为相对小规模的神经网络和同质数据分布设计的。参数高效微调技术的出现，特别是LoRA，通过将可训练参数从数十亿减少到数百万，使得十亿规模模型的实用联邦适应成为可能。最近的框架，如FlexLoRA和分割学习方法，已经展示了基于LoRA的联邦微调在异构任务和资源受限环境中的潜力。然而，最近的工作已经识别出将标准FL协议应用于MLLM的显著挑战，包括本地更新期间全局知识的灾难性遗忘，以及客户端特定适应通过统一聚合被稀释的“权重冲刷”现象。几种方法尝试通过正则化技术、多阶段训练协议和将特征提取器与任务特定头部分离的混合架构来解决这些局限性。尽管如此，现有方法将适配器参数视为一个整体实体，而没有考虑自注意力机制内部不同投影模块的功能异质性。相比之下，PFAdapter明确认识到查询和键投影倾向于捕获更具结构性的多模态关系，这些关系更适合全局聚合，而值和输出投影本质上更具任务特定性，应该保持个性化。

### II-B 个性化联邦学习

联邦学习中的个性化旨在平衡全局知识的获取与本地专业知识的保留，对于非独立同分布数据分布尤其重要。在开创性方法中，FedPer引入了在每个客户端维护个性化层同时仅聚合基础模型参数的概念。在此基础上，FedRep提出了重用