FLoKD:用于无线网络上联邦低秩LLM的自适应知识蒸馏
摘要
本文提出FLoKD,一种用于无线网络上联邦LoRA微调LLM的自适应知识蒸馏框架,可将通信开销降低50-65%,同时保持竞争性能。
查看缓存全文
缓存时间: 2026/09/15 08:57
# 面向无线网络联邦低秩大语言模型的自适应知识蒸馏
来源:https://arxiv.org/html/2609.13580
Na Yan、Yang Su、Yansha Deng(高级会员)、Toktam Mahmoodi(高级会员)††感谢:X. Zhang, N. Yan, Y. Su, Y. Deng, and T. Mahmoodi 隶属于伦敦大学学院工程系,地址:Strand, London WC2R 2LS, U.K. (电子邮件:{xinlu.zhang, na.yan, yang.su, yansha.deng, toktam.mahmoodi}@kcl.ac.uk)。
#### 摘要
大语言模型在广泛的自然语言处理任务中展现出强大能力。然而,传统微调通常依赖集中式数据收集,引发隐私顾虑。联邦学习无需共享原始客户端数据即可实现协作式LLM微调,但其在带宽受限的无线网络中的部署受限于模型参数传输的通信开销。尽管低秩适配器减少了可训练参数数量,但其通信成本仍随模型规模增长。知识蒸馏通过输出逻辑值避免了参数共享,但LLM中基于词符的逻辑值因序列长度和词表规模导致高昂通信成本。降低逻辑值维度虽可减少成本,但会削弱监督信号并降低精度。为解决这些局限,我们提出FLoKD——一种面向无线网络联邦LoRA微调LLM的自适应知识蒸馏框架,通过传输中间LoRA激活值而非逻辑值或完整参数作为蒸馏信号。由于在完整公共数据集上传输所有模块仍成本高昂,我们进一步提出变压器模块重要性评分框架,选择性传输信息量最大的模块;并设计两种数据集选择策略:剔除偏离本地数据分布的公共样本,并优先选择对蒸馏最具信息量的样本。在包括WikiText-103、PTB和DailyDialog在内的多个生成式语言数据集上的大量实验表明,所提框架在实现与基线相当的困惑度快速收敛的同时,将通信开销降低了50-65%。
#### 索引术语:
联邦学习,知识蒸馏,大语言模型,微调,LoRA
## I 引言
预训练大规模语言模型(如ChatGPT、LLaMA2和BERT)的最新进展显著提升了自然语言处理能力,推动了LLM在日常应用中的广泛普及。即使具备强大泛化能力的预训练LLM,为在不同下游任务中获得更优性能,通常仍需在来自多个用户或组织的大量数据上进行额外微调。在传统集中式微调中,此类数据必须传输至中央服务器并存储,引发数据隐私与安全问题。联邦学习作为一种替代范式应运而生:客户端本地保留数据,仅与服务器交换模型更新,允许多方在不暴露原始数据的情况下协作微调共享LLM。尽管联邦学习减少了原始客户端数据的直接暴露,但协作训练需要客户端与聚合服务器之间进行多轮通信。当应用于具有数十亿参数的LLM时,反复交换模型更新会导致显著的通信开销,尤其在带宽受限的无线网络中。例如,以半精度传输LLaMA3-8B的完整参数每轮通信约需16 GB。同时,全量微调也因模型参数、梯度和优化器状态对客户端计算与内存造成沉重负担。这些通信与计算约束使得全模型联邦微调对资源受限的边缘设备而言不切实际,推动了参数高效微调方法的发展。
为减轻传输完整模型参数的高昂通信开销,参数高效微调方法仅更新一小部分参数,在保持下游适配能力的同时降低本地计算与通信成本。其中,低秩适配器已成为联邦LLM微调的广泛采用方案。LoRA冻结预训练模型参数,并在目标模块中插入可训练的低秩矩阵,使得仅轻量级适配器被更新和交换。这使得LoRA特别适用于在无线资源约束下运行的联邦LLM系统。基于此,已有研究提出联邦LoRA微调方法,通过仅传输紧凑的LoRA参数而非完整模型权重,实现通信成本显著降低的协作式LLM适配。然而,现有联邦LoRA方法仍面临两大主要局限:LoRA传输的通信成本随模型规模增加,且LoRA参数在不同变压器模块间均匀传输,未考虑它们对知识传递的不同贡献。
首先,LoRA适配器矩阵的大小直接由其应用模块的隐藏维度决定。随着LLM规模持续扩大,其隐藏维度也随之增加,即使适配器秩保持不变,也会产生更大的LoRA矩阵。因此,传输LoRA参数的通信成本随模型规模增长,可能削弱全LoRA传输的通信效率优势。近期工作尝试在同一范式内降低此成本,例如在异构客户端带宽下进行自适应量化,但传输内容仍为LoRA参数本身。其次,LoRA适配器通常在变压器模块间均匀传输,隐含假设所有模块对知识传递同等重要。这种无差别的策略可能从对全局模型对齐贡献甚微的模块引入不必要的通信开销,同时无法优先处理信息量更大的模块。因此,现有联邦LoRA方法仍主要依赖参数传输,而根据模块级重要性调整上行链路信号粒度的研究尚未受到足够关注。
作为直接参数交换的替代方案,基于知识蒸馏的联邦学习因其通信高效的知识传递特性而日益受到关注。FedMKT是该方向的代表性方法,客户端传输输出逻辑值,随后将聚合的逻辑值蒸馏至本地模型以实现相互知识传递。然而,这种基于逻辑值的设计存在若干局限:首先,基于词符的逻辑值随序列长度和词表规模扩展,对LLM仍可能产生显著通信开销;其次,输出逻辑值仅描述最终预测分布,无法保留跨变压器模块学到的更丰富的中间表示,可能限制可传递的知识量;第三,FedMKT依赖共享的公共数据集,未显式评估单个样本的质量或任务相关性,使得蒸馏过程对噪声或对齐不良的公共数据敏感。因此,近期研究探索将中间表示作为更丰富的蒸馏知识来源。例如,LRC提出低秩克隆框架,通过对齐中间激活值而非仅依赖输出逻辑值,将知识从大型教师模型蒸馏至小型语言模型。类似地,DDK引入领域感知中间信号以动态引导蒸馏过程。这些研究表明,中间层表示可提供比最终输出分布更具信息量的监督。然而,它们主要针对集中式训练设计,在带宽受限的联邦场景中通信效率不高。因此,尽管中间表示为蒸馏提供了更丰富的知识,但其在联邦LLM微调中的实际应用需要选择性传输最具信息量的样本和变压器模块。
为克服先前工作的局限,我们提出**面向无线网络的联邦低秩LLM自适应知识蒸馏(FLoKD)** 框架。该框架通过传输LoRA模块的中间激活值而非模型参数或输出逻辑值来压缩上行链路信号,并借助模块重要性评分和面向蒸馏的公共数据选择,沿模块维度和样本维度减少传输的激活值。我们的贡献可概括如下:
- **基于中间激活值的联邦LLM微调知识蒸馏**:为克服输出逻辑值提供的有限内部表示信息,我们提出一种新型知识蒸馏框架,传输LoRA模块的中间激活值而非输出逻辑值。这些激活值的维度远小于输出逻辑值,通信成本显著降低。与仅捕获最终压缩预测分布的逻辑值不同,中间激活值保留了在变压器模块内学到的丰富内部表示,能在保持低通信开销的同时实现客户端间更有效的知识传递。
- **基于变压器模块重要性评估的模块选择**:尽管单个LoRA激活值尺寸较小,但每个变压器模块都会产生自身的激活值。传输所有激活值会导致通信成本随模型深度线性增长。为降低此开销,我们提出一种重要性评分框架,基于中间激活值定量评估每个变压器模块的贡献。通过仅选择性传输最重要模块的激活值并跳过信息量较少的模块,所提框架能在不牺牲知识传递质量的情况下显著减少传输数据量。
- **基于词符感知和损失值的公共数据选择**:在公共数据集上进行蒸馏时,若该数据集与客户端私有数据分布不匹配,则会传递与下游任务无关的知识,降低蒸馏效率。为此,我们提出两种互补且高效的公共数据集选择策略:词符感知选择作为一次性过滤方法,将公共样本与客户端词符分布对齐,剔除分布不匹配的样本,同时大幅降低计算与通信成本;损失值选择则优先选择模型损失较高的样本,保留对知识传递最具信息量的样本,实现整体高性能。这两种策略共同提高了异构数据下的蒸馏效率和收敛稳定性。
- **帕累托最优通信权衡分析**:我们将固定通信预算在选择性传输的Transformer模块数量和所选蒸馏数据集规模之间的分配,建模为约束资源分配问题。通过推导相应的带宽权衡关系并实证表征模块覆盖率与数据覆盖率之间的帕累托前沿,我们为在给定无线带宽约束下联合配置所提两种机制提供了系统而实用的指导。
- **全面实验评估**:所提框架在WikiText-103、宾夕法尼亚树库和DailyDialog三个语言建模基准上进行评估。消融研究进一步分离了模块重要性评分和样本选择的贡献,结果表明在参数型和逻辑值型基线性能显著下降的紧张上行链路预算下,FLoKD能实现具有竞争力的困惑度。
本文其余部分组织如下:第II节介绍系统模型;第III节阐述问题建模、模块重要性评分、公共数据选择、通信分析与模块-数据分配策略;第IV节提供所提框架的数值结果与性能评估;最后,第V节总结全文。
## II 系统模型
考虑一个由云服务器S与N个分布式客户端构成的联邦学习网络,记为N={1,2,...,N}。服务器与客户端持有在相同骨干架构下共享权重W′的LoRA微调LLM,参数分别为θg和θn,其中W′表示各方共享的冻结预训练骨干权重,θn代表客户端特定的可训练LoRA参数。服务器与客户端共享公共数据集Dp,样本量为|Dp|。每个客户端n∈N在私有生成数据集Dn上训练,数据量为|Dn|。每个数据样本表示为词符序列Xn,i(i∈{1,2,...,|Dn|}),其中Xn,i表示第i个输入词符序列,经截断或填充至最大长度Tmax。本地数据集{Dn}n=1N在客户端间呈非独立同分布(non-IID),表现出异构的词符分布。服务器与客户端通过联邦知识蒸馏协作改进全局模型,交换基于公共数据计算的LoRA激活值而非模型参数。如图1所示,每轮通信包含以下步骤:
### II-A 本地微调与上传
在我们的框架中,预训练模型在分布式客户端间协作微调,无需交换原始私有数据。鉴于LLM的大规模与客户端有限资源,我们采用LoRA进行参数高效本地适配。受任务特定权重更新近似处于低维子空间的观察启发,LoRA仅更新少量低秩矩阵,同时冻结预训练骨干。具体而言,LoRA在预训练模型的前向传播过程中注入可训练的低秩分解矩阵,以高效适配下游任务,同时保持大部分模型参数冻结。通过仅更新这些低秩适配器,LoRA显著降低了本地计算与通信开销,同时保持了微调性能。在联邦设置中,各客户端在本地私有数据集上独立执行LoRA微调,更新其特定参数θn。完成本地训练后,客户端并非直接上传完整模型更新或LoRA参数,而是传输在共享公共数据集Dp上计算的中间LoRA激活值,作为蒸馏信号发送至服务器进行聚合与全局知识提炼。
在联邦学习过程中,服务器通过公共数据集协调多个客户端的协作训练,而不直接访问私有数据。我们考虑存在数据异构性的现实场景,其中各客户端的私有数据集{Dn}呈非独立同分布。每轮通信中,服务器广播全局模型或相关信号至客户端,客户端利用本地数据更新其模型或适配器,并选择性传输激活值或梯度至服务器进行聚合。此迭代过程持续进行,直至全局模型收敛至预期性能。相似文章
面向LLM的高效知识蒸馏:离线Top-K Logits与融合分块KL损失
本文对如何让LLM的知识蒸馏训练更高效进行了实践研究,引入了离线Top-K logits缓存和一种融合的分块KL损失,从而减少内存尖峰,并允许在单张GPU上训练更长的上下文。
KDFP:大语言模型知识蒸馏的第一性原理方法
KDFP:大语言模型知识蒸馏的第一性原理方法 来源:https://arxiv.org/html/2610.10854 Ryan Swift & Konstantinos Psounis单位:Thomas Lord计算机科学系单位:南加州大学单位:美国加利福尼亚州洛杉矶市 90007邮箱:[{ryanswif,kpsounis}@usc.edu](mailto:) ###### 摘要 知识蒸馏是一种成熟的技术,通过利用更大、更强的教师模型的表示来训练小型、高效的学生模型,从而提升其能力。近期关于大语言模型(LLM)蒸馏的研究大多聚焦于蒸馏后训练阶段习得的能力,例如指令遵循、思维链推理和工具使用。这导致大语言模型通用知识蒸馏领域存在巨大的研究空白,而通用知识蒸馏对于开发适用于边缘设备部署的高效且注重隐私的系统至关重要。我们采用第一性原理的方法,评估了以往研究中的经验教训,并进行了新的探索,以开发适用于现代大语言模型的蒸馏方法。我们提出了KDFP,这是一种面向大语言模型白盒通用知识蒸馏的新方法。实验结果表明,KDFP在9个基准测试上超越现有方法1.6%–4.9%,并通过临时参数削减将训练效率提升最高达99.1%。
ReLoRA: 知识复用适应方法,用于快速部署不断演进的LLM服务
ReLoRA是一个知识复用的适应框架,能够高效恢复面向不断演进的LLM服务的、可投入使用的LoRA适配器。通过自适应初始化和计划正则化,它可将准备时间缩短最多8.9倍,并将准确率提升最高4.6%。
相同秩,不同需求:重新思考联邦学习中的 LoRA 再分配
本文提出了 RASA,一种用于在联邦学习中重新分配聚合 LoRA 更新的接收方感知框架,表明谱截断所造成的响应误差可以比输入感知读出方法高出任意倍数,并取得了在 DomainNet-100 上提升 3.23 个百分点、在 SuperNI 上 ROUGE-L 得分最高提升 8.33 分等成效。
用于通信高效联邦LoRA微调的自适应相位切换
本文介绍了一种用于通信高效联邦LoRA微调的自适应相位切换方法,在保持大型语言模型性能的同时,实现了高达40.5%的通信成本往返节省。