BiomedCLIP在四个国际胸部X光队列中的联邦LoRA适配

# 跨越四个国际胸部X光队列的BiomedCLIP联邦LoRA适配研究
来源：https://arxiv.org/html/2609.02101
Nirajan Kunwor, Manish Dhakal, Debesh Jha, Sunil Kumar Gaire (📧) 邮箱: [email protected] 单位：北卡罗来纳州农工州立大学、特里布文大学、田纳西大学诺克斯维尔分校、南达科他大学

###### 摘要

联邦学习（FL）使机构能在不交换数据的情况下训练共享模型，而低秩适应（LoRA）通过仅传输紧凑的低秩更新使这一过程得以规模化实现。生物医学成像是这种组合的理想场景：患者数据存储在隐私法规之后，且不同机构在扫描仪、操作流程和计算能力方面差异巨大。这种异构性引发了关于联邦LoRA更新应如何聚合的问题，随着多模态视觉语言模型在医学图像分析中的核心地位日益凸显，该问题愈发紧迫。我们在三大洲（美国、越南、西班牙）的四个公共队列上对BiomedCLIP进行联邦参数高效微调（PEFT）的胸部X光片分类基准测试。联邦LoRA适配在所有四个队列上均提高了共享类别AUC，相比未适配的BiomedCLIP骨干网络（均值0.687→0.802），表明性能提升源于联邦适配而非预训练模型的零样本能力。与孤立的单队列训练相比，联邦化提升了较弱队列的性能，同时基本保持了最强队列的性能，并接近集中所有数据的参考基准（0.812）。FlexLoRA提出的基于奇异值分解（SVD）的乘积空间聚合对该提升至关重要（朴素的因子平均使平均AUC下降0.097），而漂移校正优化器（FedProx）在我们的单次种子运行中相对于FedAvg未显示任何优势，这与LoRA的低秩更新已能限制客户端漂移的特性一致。因此，生物医学视觉语言模型可以在异构、地理分布的机构间进行协同适配，而无需集中数据。
代码获取地址：github.com/GaireLaboratory/FedLoRA-BiomedCLIP (https://github.com/GaireLaboratory/FedLoRA-BiomedCLIP)

###### 关键词：

联邦学习, LoRA, 视觉语言模型.

## 1 引言

医学图像数据因隐私法规而分散在不同机构，因此任何单一站点训练的模型只能观察到患者群体的一个狭窄切片。联邦学习（FL）提供了一条前进之路，在原始图像保持本地仅交换模型更新的同时训练共享模型[1 (https://arxiv.org/html/2609.02101#bib.bib1)]。这条途径对于生物医学基础模型尤其具有吸引力：多模态视觉语言模型（VLMs），如BiomedCLIP[14 (https://arxiv.org/html/2609.02101#bib.bib14)]，通过将图像与文本对齐实现了强大的性能，然而将其适配到临床任务需要大量、多样的数据，而这并非单一机构所能拥有。联邦化其适配可以在不移动数据的情况下结合跨站点的队列，使FL成为多模态生物医学分析的天然环境。

在联邦中完全微调此类模型由于通信成本和在小机构数据集上过拟合而不切实际。参数高效微调（PEFT），特别是低秩适应（LoRA）[6 (https://arxiv.org/html/2609.02101#bib.bib6)]，仅更新小型低秩矩阵，将每轮通信量减少了99%以上，使其非常适合FL。然而，每个客户端的LoRA更新存储为两个小矩阵，其*乘积*构成实际的权重更新。跨客户端分别平均这些矩阵并不等于其乘积的平均值，因此聚合后的更新不再代表客户端实际学到的内容。FlexLoRA[8 (https://arxiv.org/html/2609.02101#bib.bib8)]通过重构每个客户端的全尺寸更新、平均重构权重以及通过奇异值分解（SVD）重新分配低秩因子来解决此问题。我们采用了这种基于SVD的聚合方法，但在所有客户端间保持秩固定，以隔离其聚合正确性方面的收益；秩异构性处理是未来扩展的直接途径。

然而，这些联邦LoRA方案几乎完全在自然语言任务上进行了验证[8 (https://arxiv.org/html/2609.02101#bib.bib8), 9 (https://arxiv.org/html/2609.02101#bib.bib9), 10 (https://arxiv.org/html/2609.02101#bib.bib10)]；其在目标为图像-文本对比对齐且客户端在操作流程、地理和标签词汇上存在差异的生物医学VLM上的行为仍有待检验。先前的联邦胸部X光研究使用具有固定标签头的卷积分类器[26 (https://arxiv.org/html/2609.02101#bib.bib26), 27 (https://arxiv.org/html/2609.02101#bib.bib27)]，这促使我们进行一项系统性的联邦PEFT在基于SVD聚合下对医学VLM的基准测试。

我们展示了一项关于BiomedCLIP联邦PEFT用于胸部X光片分类的跨大陆研究，该研究使用FlexLoRA基于SVD的聚合方法，跨越三大洲的四个公共数据集联邦LoRA适配器：美国的NIH ChestX-ray14和CheXpert、越南的VinDr-CXR以及西班牙的PadChest。我们的贡献是：

- 据我们所知，首次提供了联邦基于LoRA的PEFT对生物医学VLM在四个真实、地理分布不同的胸部X光队列上的系统性基准测试；基准本身（而非新算法）是我们的主要贡献。
- 联邦LoRA适配在所有四个队列上均提高了共享类别AUC，相比冻结的BiomedCLIP骨干网络（均值0.687→0.802），确认了增益源于适配而非单独的预训练骨干。
- 相对于每个队列最强的单客户端基线，联邦化提升了较弱队列（CheXpert +0.038, VinDr +0.016），与NIH持平，并轻微降低了最强队列（PadChest）的性能，将平均共享-5测试曲线下面积（AUC）从0.776提升至0.802（FedAvg），并在不汇集数据的情况下接近集中参考基准（0.812）。
- 我们展示了基于SVD的聚合在一次性合并中至关重要：朴素的因子平均使平均共享-5 AUC下降0.097，降至与冻结骨干网络相当的水平。
- 我们比较了FedAvg和FedProx在LoRA下的表现，观察到近端项无显著收益（0.802 对 0.799），这与LoRA已能限制客户端漂移的特性一致。

## 2 相关工作

#### 医学影像中的联邦学习：
FL实现了无需共享患者数据的协同训练。FedAvg[1 (https://arxiv.org/html/2609.02101#bib.bib1)]、FedProx[2 (https://arxiv.org/html/2609.02101#bib.bib2)]、SCAFFOLD[4 (https://arxiv.org/html/2609.02101#bib.bib4)]和FedBN[3 (https://arxiv.org/html/2609.02101#bib.bib3)]针对异构数据下的优化问题[5 (https://arxiv.org/html/2609.02101#bib.bib5)]。FL已应用于胸部X光片分析，包括使用差分隐私[26 (https://arxiv.org/html/2609.02101#bib.bib26), 27 (https://arxiv.org/html/2609.02101#bib.bib27), 28 (https://arxiv.org/html/2609.02101#bib.bib28), 30 (https://arxiv.org/html/2609.02101#bib.bib30)]，但大多数研究使用卷积网络而非多模态基础模型。

#### 参数高效微调：
PEFT仅更新一小部分参数。LoRA[6 (https://arxiv.org/html/2609.02101#bib.bib6)]是应用最广泛的方法，已在医学影像中证明其有效性[12 (https://arxiv.org/html/2609.02101#bib.bib12)]。FedIT[7 (https://arxiv.org/html/2609.02101#bib.bib7)]首次将LoRA与联邦平均相结合，后续工作针对异构客户端改进了低秩更新的聚合[8 (https://arxiv.org/html/2609.02101#bib.bib8), 9 (https://arxiv.org/html/2609.02101#bib.bib9), 10 (https://arxiv.org/html/2609.02101#bib.bib10), 11 (https://arxiv.org/html/2609.02101#bib.bib11)]。

#### 医学影像中的视觉语言模型：
VLMs通过对比预训练学习对齐的图像-文本表示。继CLIP[13 (https://arxiv.org/html/2609.02101#bib.bib13)]之后，医学变体如MedCLIP[15 (https://arxiv.org/html/2609.02101#bib.bib15)]、CheXzero[16 (https://arxiv.org/html/2609.02101#bib.bib16)]、BioViL[17 (https://arxiv.org/html/2609.02101#bib.bib17)]和BiomedCLIP[14 (https://arxiv.org/html/2609.02101#bib.bib14)]表现强劲。联邦VLMs已在适配器和基础模型方面进行了探索[19 (https://arxiv.org/html/2609.02101#bib.bib19), 20 (https://arxiv.org/html/2609.02101#bib.bib20), 18 (https://arxiv.org/html/2609.02101#bib.bib18)]，但生物医学VLM的联邦PEFT在很大程度上尚未探索，这正是我们所要填补的空白。

## 3 方法

### 3.1 概述
我们通过三个逐步增强合作的实验，研究了一个生物医学视觉语言模型在四个胸部X光队列上的联邦PEFT：(i)*单客户端*基线，每个队列独立训练；(ii)*一次性聚合*，四个本地训练的适配器合并一次；(iii)*多轮联邦*，客户端在五轮迭代中进行训练和聚合。原始图像从未离开其源队列；仅交换适配器权重（图1 (https://arxiv.org/html/2609.02101#S3.F1)）。

参见标题 图1：联邦流程概述。
### 3.2 模型架构与LoRA微调
我们使用BiomedCLIP（冻结的PubMedBERT文本编码器，在1500万生物医学图-文对上预训练的ViT-B/16图像编码器）。在每个Transformer块的融合查询-键-值（qkv）投影上使用LoRA适配器[6 (https://arxiv.org/html/2609.02101#bib.bib6)]（秩r=8，缩放因子α=16，丢弃率0.1），产生约0.25%的可训练参数，将每轮每个客户端的有效负载减少至约1.13MB（比全模型交换小>99%）。每个客户端使用图像-文本对比损失在本地优化其LoRA适配器：

$$ \mathcal{L}_{\text{CLIP}} = \frac{1}{2} \left[ \mathcal{L}_{i\to t}(\tau^{-1} \mathbf{Z}_{i} \mathbf{Z}_{t}^{\top}) + \mathcal{L}_{t\to i}(\tau^{-1} \mathbf{Z}_{t} \mathbf{Z}_{i}^{\top}) \right] $$
其中$\mathbf{Z}_{i}$, $\mathbf{Z}_{t}$是归一化的图像和文本嵌入，$\tau=0.07$是温度，一个在对比视觉语言训练中标准的固定缩放常数[13 (https://arxiv.org/html/2609.02101#bib.bib13)]，它锐化了余弦相似度上的softmax（相当于$1/\tau \approx 14.3$的logit尺度），$\mathcal{L}_{i\to t}$, $\mathcal{L}_{t\to i}$是对称的交叉熵损失。提示词列出了每个图像中出现的最多三个发现："胸部X光片显示{发现1, 发现2, 发现3}"，对于阴性样本则为"胸部X光片未见异常"。

### 3.3 基于SVD的LoRA联邦聚合
在每一轮通信后，仅交换LoRA张量。每个客户端$k$学习一对低秩LoRA矩阵：一个下投影$A_{k}\in\mathbb{R}^{r\times d}$和一个上投影$B_{k}\in\mathbb{R}^{3d\times r}$，秩$r \ll d$，其缩放乘积$\Delta W_{k}=(\alpha/r) B_{k} A_{k}$构成对融合$qkv$目标权重$W\in\mathbb{R}^{3d\times d}$的更新（该投影将$d$维token映射到堆叠的查询、键和值）。由于独立平均因子不等价于平均乘积（$\bigl(\frac{1}{N}\sum_{k}B_{k}\bigr)\bigl(\frac{1}{N}\sum_{k}A_{k}\bigr) \neq \frac{1}{N}\sum_{k}B_{k}A_{k}$），我们遵循FlexLoRA[8 (https://arxiv.org/html/2609.02101#bib.bib8)]在乘积空间进行聚合：我们平均跨客户端的重构更新$B_{k}A_{k}$，并通过截断SVD将结果投影回秩$r$。因为$N$个秩$r$更新的平均值可以具有高达$Nr$的秩，所以这个秩$r$投影是一个近似，而非精确重构：

$$ \overline{\Delta W} = \sum_{k=1}^{N} w_{k} \, B_{k} A_{k}, \qquad U, S, V^{\top} = \mathrm{SVD}(\overline{\Delta W}) $$
$$ \overline{B} = U_{:,1:r} \, \mathrm{diag}(\sqrt{S_{1:r}}), \qquad \overline{A} = \mathrm{diag}(\sqrt{S_{1:r}}) \, V^{\top}_{1:r,:} $$
这里$\overline{\Delta W}\in\mathbb{R}^{3d\times d}$是权重平均更新（$w_{k}=1/N$），$U, S, V^{\top}$是其SVD；保留前$r$个分量使得$\overline{B} \, \overline{A} \approx \overline{\Delta W}$在秩$r$下近似。尽管秩$r$投影在原则上是有损的，但在实践中它在此几乎是信息保持的：在十二个适配块中，前$r$个分量平均保留了平均更新奇异值能量的94.6%（范围92.9-95.4%），因此截断仅丢弃了聚合更新的一小部分。

### 3.4 联邦配置
我们比较两种具有相同超参数的算法。FedAvg[1 (https://arxiv.org/html/2609.02101#bib.bib1)]使用基于SVD的LoRA聚合，客户端权重相等（$w_{k}=1/N$）而非原始公式中的数据量加权；我们的一次性消融实验（表3 (https://arxiv.org/html/2609.02101#S5.T3)）显示等权重优于大小加权（0.781 对 0.743），因为大小加权会让最大的队列（CheXpert）占主导。每个客户端在本地优化对比损失。FedProx[2 (https://arxiv.org/html/2609.02101#bib.bib2)]在本地目标中加入一个近端项$\frac{\mu}{2} \|\theta_{k} - \theta_{\text{global}}\|^{2}$，其中$\theta_{k}$是客户端$k$当前的LoRA参数，$\theta_{\text{global}}$是上一轮的全局LoRA参数，$\mu=0.01$是近端系数，将每个客户端正则化向全局状态。所有实验使用种子42以确保可复现的划分和初始化。

## 4 实验

### 4.1 数据集与预处理
我们使用四个公共胸部X光数据集（表1 (https://arxiv.org/html/2609.02101#S4.T1)）：美国的NIH ChestX-ray14[21 (https://arxiv.org/html/2609.02101#bib.bib21)]和CheXpert[22 (https://arxiv.org/html/2609.02101#bib.bib22)]，越南的VinDr-CXR[23 (https://arxiv.org/html/2609.02101#bib.bib23)]，以及西班牙的PadChest[24 (https://arxiv.org/html/2609.02101#bib.bib24)]。由于原生标签词汇不同，我们使用NIH和CheXpert的14标签集，VinDr的14类映射，以及PadChest中出现频率最高的30个发现。

图像被调整大小为224×224，并使用BiomedCLIP预处理进行归一化。PadChest的16位图像使用第1-99百分位归一化转换为8位。CheXpert仅限于正位图像，不确定标签（-1）被视为阳性（U-Ones[22 (https://arxiv.org/html/2609.02101#bib.bib22)]），为简单起见统一应用，尽管按类别制定策略可能更可取。PadChest仅限于正位成人X光片（PA, AP, AP_horizontal；年龄≥18岁），与先前工作一致[26 (https://arxiv.org/html/2609.02101#bib.bib26)]。我们使用每个数据集的官方测试集划分（如果可用）；对于NIH，我们使用官方的患者不相交训练/测试列表；对于CheXpert和PadChest，我们按患者划分（80/10/10）。由于VinDr-CXR的官方测试标签