FedOPAL: 基于解析视觉提示调整的单次联邦学习

# FedOPAL: 基于分析型视觉提示调优的单次联邦学习
来源: https://arxiv.org/html/2607.08368
凌雨秋, Daniela Annunziata, Stefano Izzo, Fabio Giampaolo, Francesco Piccialli†\\dagger 那不勒斯费德里科二世大学数学与应用系 "R. Caccioppoli", 意大利 \{lingyu.qu, daniela.annunziata, stefano.izzo, fabio.giampaolo, francesco.piccialli\}@unina.it

###### 摘要

随着基础模型在边缘智能中的广泛部署，通信带宽已成为制约联邦学习可扩展性的核心瓶颈。尽管单次联邦学习通过最小化通信轮次缓解了这一问题，但现有的迭代微调或知识蒸馏方法仍面临服务器端计算成本高、超参数敏感等挑战。分析型联邦学习利用最小二乘闭式解实现高效的无梯度聚合，但在非独立同分布数据环境中，其静态特征假设失效，导致特征流形对齐错误，严重损害模型性能。为解决这一矛盾，本文提出 FedOPAL 框架。该框架将视觉提示作为特征矫正器，通过施加本地近端约束，主动将异构数据的特征分布纠正到线性可分离空间，从而满足分析型联邦学习的理论假设。实验结果表明，FedOPAL 在多个基准测试上不仅显著优于原始分析方法，而且在保持零服务器端训练成本的同时，达到了与最先进迭代方法相当的精度，为边缘端大模型的高效协作提供了新的工程范式。

††footnotetext:†\\dagger 通讯作者。††footnotetext:代码地址: https://github.com/Lynn0925/FLICS

## I 引言

联邦学习作为一种保护隐私的分布式机器学习范式，已在医学图像分析[1 (https://arxiv.org/html/2607.08368#bib.bib164)]、金融风险控制[22 (https://arxiv.org/html/2607.08368#bib.bib161)]和物联网[26 (https://arxiv.org/html/2607.08368#bib.bib162)]等领域取得了显著成功。然而，深度学习当前正步入大规模预训练基础模型时代，模型参数呈指数级增长。例如，部署 ViT[6 (https://arxiv.org/html/2607.08368#bib.bib2)] 和 CLIP[18 (https://arxiv.org/html/2607.08368#bib.bib6)] 等模型显著增加了边缘设备与服务器之间的通信开销。同时，依赖简单网络已不再能满足现代工业日益增长的性能需求[14 (https://arxiv.org/html/2607.08368#bib.bib159)]。在带宽受限或连接不稳定的场景（如自动驾驶汽车或卫星通信）中，传统联邦平均算法 FedAvg 所需的高频参数交互在计算上已变得难以承受[17 (https://arxiv.org/html/2607.08368#bib.bib165)]。因此，实现只需一轮通信即可完成模型聚合的单次联邦学习，已成为突破这一瓶颈的关键技术[2 (https://arxiv.org/html/2607.08368#bib.bib163)]。

为实现单轮聚合，现有的研究方法，例如基于知识蒸馏[25 (https://arxiv.org/html/2607.08368#bib.bib217),24 (https://arxiv.org/html/2607.08368#bib.bib14),12 (https://arxiv.org/html/2607.08368#bib.bib250)] 和数据合成方法[23 (https://arxiv.org/html/2607.08368#bib.bib87)]，通常采用服务器端重训练。在这些方法中，客户端上传模型参数或生成器，服务器利用公共数据集或合成数据通过迭代优化（例如集成蒸馏）整合知识。虽然这种策略成功规避了多轮通信，但它只是将计算负担从边缘转移到服务器，并未降低系统整体负载。

最近，基于预训练模型的统计计算方法被提出[7 (https://arxiv.org/html/2607.08368#bib.bib317),10 (https://arxiv.org/html/2607.08368#bib.bib316)]，为单次联邦学习引入了一种新范式。它们利用预训练模型强大的表示能力，通过最小二乘法等方法直接在数学层面上计算解析解。这使得联邦学习无需额外的客户端训练，仅通过计算即可获得结果。这种方法为单次联邦学习提供了新视角；如果拥有足够强大的模型，单次聚合中的最终任务就变成了如何激发模型的能力。

然而，这种方法依赖于一个强假设：从异构客户端分布中提取的特征必须是高质量且线性可分离的[10 (https://arxiv.org/html/2607.08368#bib.bib316)]。在现实世界的非独立同分布场景中，不同客户端的数据分布差异很大，常常导致冻结模型提取的特征流形错位。纯粹的数学求解器无法调整特征提取过程本身，面对混乱的特征统计量，其解析解必然退化。

为应对这些挑战，我们主张在应用线性层之前，引入一种机制来引导冻结主干网络的特征提取过程，同时保持通信效率。本文提出 FedOPAL，它利用视觉提示调优，将可学习标记注入基础模型的嵌入序列。与像素级修改不同，这些提示作为轻量级、可学习的上下文，能够矫正局部特征，使其适应分析型联邦学习。本文的主要贡献如下：

- • 提出 FedOPAL 框架，以解决统计型单次联邦学习方法中的特征错位问题。我们将视觉提示标记重新定义为嵌入空间中的分布调节器，主动引导冻结主干网络将异构数据映射到线性可分离流形上，从而确保解析解在复杂分布下的有效性。
- • 我们利用闭式解的特性，用高效的代数运算替代对视觉语言模型的传统迭代微调。在此设计下，客户端通过提示调优处理特征适应，而服务器仅需执行统计合成，显著降低了系统开销。
- • 在复杂基准测试上的大量实验表明，FedOPAL 在异构环境中显著优于现有分析型基线方法。此外，我们的方法达到了与最先进迭代方法相当的精度，证明了基于分析的方法足以满足大规模边缘智能应用的实际部署需求。

## II 相关工作

### II-A 单次联邦学习

单次联邦学习旨在单轮通信内实现模型收敛。早期方法主要依赖数据合成或知识蒸馏，服务器训练生成器以恢复客户端数据分布[24 (https://arxiv.org/html/2607.08368#bib.bib14),28 (https://arxiv.org/html/2607.08368#bib.bib193),20 (https://arxiv.org/html/2607.08368#bib.bib306),5 (https://arxiv.org/html/2607.08368#bib.bib89)]。诸如联合数据-模型优化[5 (https://arxiv.org/html/2607.08368#bib.bib89)] 和数据集蒸馏[20 (https://arxiv.org/html/2607.08368#bib.bib306)] 等方法被用于提升蒸馏性能。此外，最近的工作引入了扩散模型[15 (https://arxiv.org/html/2607.08368#bib.bib41)]、数据集合成[4 (https://arxiv.org/html/2607.08368#bib.bib105)] 和基于 XOR 的 mixup 增强[19 (https://arxiv.org/html/2607.08368#bib.bib259)] 来解决隐私问题。然而，由于生成模型的迭代训练，这些方法通常计算成本高昂。相比之下，基于统计的方法通过利用充分统计量提供了一种计算高效的替代方案。这些方法不传输梯度，而是聚合局部统计信息以推导全局闭式解。AFL[10 (https://arxiv.org/html/2607.08368#bib.bib316)] 通过将分类器训练建模为分布式最小二乘问题，实现了无梯度聚合。FedCGS[7 (https://arxiv.org/html/2607.08368#bib.bib317)] 探索了将此类分析求解器与原型学习相结合，以增强特征鲁棒性。尽管这些方法效率极高，但它们严格依赖于特征统计量的对齐和预训练模型固有的表示能力。

### II-B 提示学习

提示学习最初出现在自然语言处理领域，随后被引入视觉语言模型[27 (https://arxiv.org/html/2607.08368#bib.bib4)]。在联邦学习背景下，FedOTP[13 (https://arxiv.org/html/2607.08368#bib.bib9)] 和 PromptFL[8 (https://arxiv.org/html/2607.08368#bib.bib8)] 尝试通过联邦方法学习提示参数[9 (https://arxiv.org/html/2607.08368#bib.bib5)]。然而，现有工作主要集中于微调文本提示。在类似 CLIP 的架构中，文本编码器生成线性分类器的权重；因此，优化文本提示本质上等同于优化分类器权重。鉴于分析型联邦学习已经为最优线性分类器提供了直接的闭式解，迭代优化文本提示变得低效且逻辑上冗余。相反，视觉提示修改了输入嵌入空间（或像素），在重塑底层特征流形方面具有更强能力。据我们所知，视觉提示尚未应用于分析型联邦学习框架。

## III 方法

我们提出 FedOPAL 框架，旨在通过单轮通信高效地将冻结的基础模型适应于异构联邦数据。FedOPAL 将特征对齐与分类器学习解耦：它使用视觉提示调优在本地矫正特征空间，并利用分析型学习[10 (https://arxiv.org/html/2607.08368#bib.bib316),21 (https://arxiv.org/html/2607.08368#bib.bib3)] 实现全局分类器的最优对齐。

参见图注
图 1: FedOPAL 概述。(左) 在本地训练阶段，客户端冻结基础模型主干，并优化一组插入到输入嵌入序列中的连续视觉提示标记 Pk\\mathbf{P}\_{k}。使用经过提示增强序列提取的矫正特征，客户端计算闭式充分统计量 (Rk,Ck\\mathbf{R}\_{k},\\mathbf{C}\_{k})。(右) 服务器聚合这些统计量，解析推导出最优全局分类器 W∗\\mathbf{W}^{*}，并对提示标记进行平均，从而实现高效的单次联邦学习。

### III-A 预备知识

#### III-A1 分析型联邦学习

我们采用分析型学习框架[10 (https://arxiv.org/html/2607.08368#bib.bib316)]，以通信高效的方式解决分类器学习问题。考虑一个包含 CC 个类别、KK 个客户端的分类任务。设 Dk={(xi,yi)}i=1Nk\\mathcal{D}\_{k}=\\{(\\mathbf{x}\_{i},\\mathbf{y}\_{i})\\}\_{i=1}^{N\_{k}} 表示客户端 kk 的本地数据集，其中 yi∈RC\\mathbf{y}\_{i}\\in\\mathbb{R}^{C} 是独热标签向量。目标是在冻结的特征提取器 f(⋅)f(\\cdot) 之上学习一个线性分类器 W∈Rd×C\\mathbf{W}\\in\\mathbb{R}^{d\\times C}，通过最小化 L2L\_{2} 正则化均方误差：

W∗=arg⁡minW∑k=1K∑i=1Nk‖W⊤f(xi)−yi‖22+λ‖W‖F2,\\mathbf{W}^{*}=\\arg\\min\_{\\mathbf{W}}\\sum\_{k=1}^{K}\\sum\_{i=1}^{N\_{k}}\\|\\mathbf{W}^{\\top}f(\\mathbf{x}\_{i})-\\mathbf{y}\_{i}\\|^{2}\_{2}+\\lambda\\|\\mathbf{W}\\|\_{F}^{2},(1)
其中 λ\\lambda 是正则化系数。该优化问题具有由聚合的充分统计量推导出的闭式解：

W∗=(∑k=1KRk+λI)−1(∑k=1KCk),\\mathbf{W}^{*}=\\left(\\sum\_{k=1}^{K}\\mathbf{R}\_{k}+\\lambda\\mathbf{I}\\right)^{-1}\\left(\\sum\_{k=1}^{K}\\mathbf{C}\_{k}\\right),(2)
其中 Rk∈Rd×d\\mathbf{R}\_{k}\\in\\mathbb{R}^{d\\times d} 和 Ck∈Rd×C\\mathbf{C}\_{k}\\in\\mathbb{R}^{d\\times C} 分别是本地自相关矩阵和互相关矩阵：

Rk=∑(x,y)∈Dkhh⊤,Ck=∑(x,y)∈Dkhy⊤,\\mathbf{R}\_{k}=\\sum\_{(\\mathbf{x},\\mathbf{y})\\in\\mathcal{D}\_{k}}\\mathbf{h}\\mathbf{h}^{\\top},\\quad\\mathbf{C}\_{k}=\\sum\_{(\\mathbf{x},\\mathbf{y})\\in\\mathcal{D}\_{k}}\\mathbf{h}\\mathbf{y}^{\\top},(3)其中 h=f(x)\\mathbf{h}=f(\\mathbf{x}) 表示提取的特征向量。

#### III-A2 视觉提示调优

我们不修改输入像素或微调整个主干，而是采用视觉提示调优[11 (https://arxiv.org/html/2607.08368#bib.bib10)]，特别是 VPT-Shallow 变体。该方法通过在嵌入空间中引入一小组 M=10M=10 个可学习的连续标记 P∈RM×D\\mathbf{P}\\in\\mathbb{R}^{M\\times D} 来适应冻结的视觉 Transformer，其中 DD 是嵌入维度。

给定输入图像 x\\mathbf{x}，ViT 主干首先将其分割成固定大小的 patches，并将它们投影成 patch 嵌入 E∈RL×D\\mathbf{E}\\in\\mathbb{R}^{L\\times D}。令 xcls∈R1×D\\mathbf{x}\_{cls}\\in\\mathbb{R}^{1\\times D} 表示可学习的类别标记。在我们的实现中，为保留预训练位置嵌入的空间语义，我们首先将位置嵌入应用于类别标记和 patch 嵌入。然后将可学习的提示标记 P\\mathbf{P} 插入到序列中：

Zraw=[xcls,E]+Epos,\\mathbf{Z}\_{raw}=[\\mathbf{x}\_{cls},\\mathbf{E}]+\\mathbf{E}\_{pos},(4)Z0=[Zraw(0),P,Zraw(1:L)],\\mathbf{Z}\_{0}=\\left[\\mathbf{Z}\_{raw}^{(0)},\\mathbf{P},\\mathbf{Z}\_{raw}^{(1:L)}\\right],(5)
其中 Epos\\mathbf{E}\_{pos} 表示位置嵌入。Zraw(0)\\mathbf{Z}\_{raw}^{(0)} 是带有位置信息的类别标记，Zraw(1:L)\\mathbf{Z}\_{raw}^{(1:L)} 是带有位置信息的 patch 嵌入。提示标记 P\\mathbf{P} 被插入在类别标记和 patches 之间。冻结的 Transformer 块处理这个扩展后的序列，最终分类特征 h\\mathbf{h} 从最后一层的类别标记状态中获取，记为 h=fθ(Z0)[CLS]\\mathbf{h}=f\_{\\theta}(\\mathbf{Z}\_{0})\_{[CLS]}。

### III-B FedOPAL 框架

FedOPAL 集成了视觉提示调优与分析型学习，以应对非独立同分布数据的挑战。工作流程包括两个主要阶段：本地提示学习和全局分析聚合。

#### III-B1 本地阶段：通过视觉提示调优进行特征矫正

每个客户端 kk 初始化一个本地提示矩阵 Pk\\mathbf{P}\_{k} 和一个临时本地线性头部 Wk\\mathbf{W}\_{k}。