联邦MLLM微调中基于弹性正则化与合成回放的持续学习

# 基于弹性正则与合成回放的联邦多模态大语言模型持续微调方法
来源: https://arxiv.org/html/2607.12112
刘静、邹晨璇、任嘉阳、方高远、李成芳、王妍、马振超、胡波. 刘静与加拿大不列颠哥伦比亚大学电气与计算机工程系、复旦大学未来信息技术学院有联系（电子邮箱: [email protected]）。邹晨璇和任嘉阳与加拿大不列颠哥伦比亚大学化学与生物工程系有联系（电子邮箱: {zcxy, rjy12307}@mail.ubc.ca）。方高远与英国帝国理工学院皇家科学学院戴森设计工程学院有联系（电子邮箱: [email protected]）。李成芳与中国科学院苏州生物医学工程技术研究所有联系（电子邮箱: [email protected]）。王妍与华东师范大学数据科学与工程学院有联系（电子邮箱: [email protected]）。马振超与加拿大不列颠哥伦比亚大学电气与计算机工程系有联系（电子邮箱: [email protected]）。胡波与复旦大学未来信息技术学院有联系（电子邮箱: [email protected]）。

###### 摘要

在分布式网络上对多模态大语言模型（MLLMs）进行联邦微调，能够以隐私敏感的方式适应不断变化的数据流，然而一个根本性障碍阻碍了其在动态环境中的稳健部署：灾难性遗忘——即连续的任务更新会擦除先前获得的视觉、语言及跨模态表征知识。解决这一挑战对于运行在安全敏感领域（如内容审核）的自主网络AI尤为关键，因为这些领域中先前知识的可靠保留是系统完整性的基础。为克服此问题，我们提出联邦持续多模态学习（FedCMM），该框架在三个互补层面将持续学习保护机制嵌入联邦优化循环。在参数层面，模态感知的弹性权重整合分别为视觉编码器、语言主干网络和跨模态投影器计算独立的Fisher信息矩阵，提供细粒度、不对称感知的保护，防止模态特定的遗忘。在数据层面，每个客户端训练一个轻量级本地生成回放模块，以合成无原始数据的嵌入级多模态回放元组，无需共享任何原始数据。在聚合层面，基于任务相似性的梯度聚合通过梯度余弦相似度自主过滤并加权客户端更新，抑制冲突方向，稳定全局学习轨迹。在两个基准上的大量实验表明，FedCMM在准确率和反向迁移上持续优于近期基线方法，证实了整体化、模态感知的优化能够在异构网络AI部署中实现稳健的进化式适应。

###### 索引词:

联邦学习，持续学习，多模态大语言模型，灾难性遗忘，自主优化，网络化AI，隐私保护

## I 引言

多模态大语言模型（MLLMs）的普及标志着人工智能领域的一个重要里程碑，其在整合视觉与语言的理解与生成内容方面展现出前所未有的能力[2（https://arxiv.org/html/2607.12112#bib.bib12）,15（https://arxiv.org/html/2607.12112#bib.bib5）]。凭借这些能力，MLLMs在从医疗诊断、自动驾驶到安全关键网络部署中的内容审核等高风险真实世界应用中日益关键[9（https://arxiv.org/html/2607.12112#bib.bib29）,1（https://arxiv.org/html/2607.12112#bib.bib30）]。然而，在隐私敏感领域部署和维护MLLMs需要不依赖集中式数据存储的训练方法。联邦学习（FL）已成为隐私保护机器学习的主要范式，能够在无需暴露原始用户数据的情况下，在分散数据源上协作训练模型[17（https://arxiv.org/html/2607.12112#bib.bib13）,7（https://arxiv.org/html/2607.12112#bib.bib26）,24（https://arxiv.org/html/2607.12112#bib.bib39）]。因此，MLLMs的联邦微调代表了开发可在动态网络环境中持续改进的、适应性强且安全的自主AI系统的关键前沿[29（https://arxiv.org/html/2607.12112#bib.bib6）]。

当这些分散的数据流是非平稳的，且随着新概念、任务或数据分布的出现而随时间演变时，一个根本性挑战便浮现出来。在此类场景中，MLLMs必须顺序更新以保持时效性，这一过程称为持续学习，但伴随着灾难性遗忘的风险——模型在先前学习任务上的性能在学习新任务时会急剧下降[19（https://arxiv.org/html/2607.12112#bib.bib14）,28（https://arxiv.org/html/2607.12112#bib.bib35）]。已有研究建立了持续学习策略的全面分类体系[4（https://arxiv.org/html/2607.12112#bib.bib36）]，但大多数方法是为集中式设置设计的，并未涉及联邦多模态场景。该问题在安全关键应用中尤为突出：一个擅长检测已知仇恨内容形式的模型[9（https://arxiv.org/html/2607.12112#bib.bib29）]必须更新以识别新的演变模式，同时一个灾难响应分类器必须在新型危机出现时保留先前的事件类别[1（https://arxiv.org/html/2607.12112#bib.bib30）]。因此，在联邦框架内解决灾难性遗忘不仅是技术上的好奇，更是构建稳健可靠自主MLLMs的实践需求。

持续学习与联邦学习的交叉引入了一系列复杂的技术障碍。其核心是，灾难性遗忘源于稳定性-可塑性困境：模型必须具有足够的可塑性以获取新知识，同时又需足够稳定以保留旧信息[18（https://arxiv.org/html/2607.12112#bib.bib15）]。为集中式设置开发的经典持续学习方法，例如基于正则化的弹性权重整合（EWC）[10（https://arxiv.org/html/2607.12112#bib.bib16）]和突触智能[35（https://arxiv.org/html/2607.12112#bib.bib23）]，或基于回放的重演存储样本策略[16（https://arxiv.org/html/2607.12112#bib.bib17）]，提供了部分解决方案。然而，它们在FL中的直接应用存在问题：正则化方法往往难以在MLLMs复杂的参数空间中扩展[5（https://arxiv.org/html/2607.12112#bib.bib41）]，而基于回放的方法如果存储或共享原始数据，则与FL的核心隐私原则相冲突。此外，FL中客户端间固有的统计异构性（非IID数据）加剧了遗忘，因为不同的局部更新在聚合过程中可能相互破坏性干扰[36（https://arxiv.org/html/2607.12112#bib.bib18）,3（https://arxiv.org/html/2607.12112#bib.bib38）]。

实际实现中的挑战进一步加剧了这些问题，尤其是对于MLLMs。一个关键难点在于这些模型中知识的多面性：信息不仅分别编码在视觉编码器和语言模型中，还编码在复杂的跨模态对齐模块中，这引入了对模态特定遗忘和对抗性漂移的独特脆弱性[12（https://arxiv.org/html/2607.12112#bib.bib7）]。因此，持续学习策略必须具有模态感知能力，保护所有三个组件中的关键参数，同时不抑制模型学习新跨模态关系的能力。此外，在持续学习背景下，客户端漂移变得更为显著[26（https://arxiv.org/html/2607.12112#bib.bib8）]：在某一轮中，一些客户端可能正在训练新任务，而另一些仍在处理旧数据，产生的梯度更新在目标上不一致。自适应服务器端优化方法[23（https://arxiv.org/html/2607.12112#bib.bib27）,8（https://arxiv.org/html/2607.12112#bib.bib28）]在静态设置中能减少漂移，但并非为持续学习中不断演变的任务目标而设计。客户端生成回放[27（https://arxiv.org/html/2607.12112#bib.bib22）]可以部分缓解数据层面的遗忘，但在隐私保护的联邦制度下将其跨任务同步仍是一个开放挑战。

联邦持续学习（FCL）的最新进展已开始解决其中一些问题。诸如FedWeIT[34（https://arxiv.org/html/2607.12112#bib.bib19）]和无遗忘学习（LwF）[14（https://arxiv.org/html/2607.12112#bib.bib20）]等方法将知识蒸馏技术适应到联邦设置中，利用全局模型在新数据上的输出作为软标签来保留旧知识。其他方法直接在服务器上计算参数重要性以应用正则化，而FedProx类方法[13（https://arxiv.org/html/2607.12112#bib.bib21）]则惩罚与全局模型的偏差。近期研究进一步扩展了该领域：AF-FCL在异构任务漂移下选择性重用先验知识[30（https://arxiv.org/html/2607.12112#bib.bib10）]；FedCBDR改善了联邦类增量学习的回放平衡[20（https://arxiv.org/html/2607.12112#bib.bib11）]；跨异构设备的协作多模型训练从信号处理角度解决了系统异构性问题[32（https://arxiv.org/html/2607.12112#bib.bib40）]；Sec-MMFL研究了多模态联邦学习中的隐私泄露和模态特定保护[31（https://arxiv.org/html/2607.12112#bib.bib9）]。尽管这些方法取得了明显进展，但它们仍未设计用于在统一的流程中同时处理大型MLLMs的持续联邦适应，包括模态感知的整合、隐私保护的多模态回放以及聚合时的冲突抑制。

现有方法的局限性促使我们寻求一种新方法，该方法能协同整合解决方案，以应对多模态遗忘、联邦数据异构性和隐私暴露等核心挑战。我们的关键见解是：一个有效的网络化MLLMs自主优化框架必须在三个不同层面运作。在参数层面，模态感知的正则化通过对参数高效适配器表示[6（https://arxiv.org/html/2607.12112#bib.bib34）]应用参数重要性估计[10（https://arxiv.org/html/2607.12112#bib.bib16）]来保护已建立的知识。在数据层面，一种无原始数据的排练机制主动对抗遗忘，将样本回放[22（https://arxiv.org/html/2607.12112#bib.bib24）]扩展到适用于联邦LLM适应的本地生成合成范式[33（https://arxiv.org/html/2607.12112#bib.bib37）]。在聚合层面，一种基于相似性的自主策略缓解了异构客户端更新的干扰，超越了静态参数隔离[25（https://arxiv.org/html/2607.12112#bib.bib25）]，走向梯度信息协调。通过结合这三个支柱，可以在部署于网络AI基础设施的MLLMs的复杂、分布式和进化式训练环境中平衡稳定性与可塑性。

为解决这些挑战，我们提出联邦持续多模态学习（FedCMM），这是一个全面的框架，旨在使MLLMs能够在联邦设置中学习一系列任务，同时缓解灾难性遗忘。FedCMM的核心创新在于其三部分架构，该架构协调了参数层正则化、数据层排练和服务器层聚合。首先，我们引入模态感知弹性权重整合（MA-EWC），这是一种新颖的正则化策略，分别为视觉编码器、语言模型和跨模态投影器计算并保护关键参数。细粒度的逐模态保护可防止破坏性干扰。其次，我们设计了一个隐私保护联邦回放（PPFR）机制，其中每个客户端训练一个轻量级本地生成回放模块，以合成来自过去任务的无原始数据的嵌入级多模态回放元组。在后续训练中，客户端使用这些回放元组进行排练，有效刷新旧知识，而无需共享任何原始数据。第三，我们开发了基于任务相似性的梯度聚合（TSGA），这是一种服务器端算法，根据客户端模型更新的梯度余弦相似度对其进行加权，降低可能与当前学习轨迹冲突的更新的权重，从而减少客户端间干扰。

我们的工作贡献如下：

- •我们提出了FedCMM，一个联邦持续多模态学习框架，旨在在隐私保护的顺序MLLM微调过程中缓解灾难性遗忘。
- •我们引入了三个互补组件：用于模态特定参数保护的MA-EWC、用于合成排练的隐私保护联邦回放，以及用于相似性感知聚合的TSGA。
- •我们在两个具有挑战性的持续联邦基准上进行了大量实验，结果表明FedCMM优于强大的联邦持续学习基线方法。

本文其余部分组织如下。第II节（https://arxiv.org/html/2607.12112#S2）回顾相关工作。第IV节（https://arxiv.org/html/2607.12112#S4）介绍我们提出的FedCMM框架的技术细节。第V节（https://arxiv.org/html/2607.12112#S5）介绍实验设置、主要结果和分析。最后，第VI节（https://arxiv.org/html/2607.12112#S6）总结本文并讨论未来工作。

## II 相关工作

### II-A 持续学习中的正则化与回放

持续学习（CL）旨在使模型能够从连续的数据流中学习，而不会灾难性地遗忘先前获得的知识[19（https://arxiv.org/html/2607.12112#bib.bib14）]。核心挑战在于平衡保留旧知识所需的稳定性与获取新信息所需的可塑性[18（https://arxiv.org/html/2607.12112#bib.bib15）]。CL研究广泛，可大致分为三大类。基于正则化的方法，如EWC[10（https://arxiv.org/html/2607.12112#bib.bib16）]和突触智能（SI）[35（https://arxiv.org/html/2607.12112#bib.bib23）]，在损失函数中引入惩罚项，以约束对过去任务重要参数的更新。这些方法虽然有效，但计算成本高，且在任务分布发生显著变化时可能表现不佳。相比之下，基于回放的方法在学