Fed-Equilibrium框架：在鲁棒且公平的临床联邦学习中进行拓扑帕累托控制

# 用于稳健公平临床联邦学习中拓扑帕累托控制的Fed-Equilibrium框架

††致谢：本研究得到了加拿大自然科学与工程研究委员会（NSERC）的支持。作者诚挚感谢加拿大观察性药物效果研究网络（CNODES）和MITRE公司（SyntheticMass）为本研究提供的合成数据集。

来源：https://arxiv.org/html/2609.11937

###### 摘要

联邦学习（FL）在多中心临床网络中的部署面临着“知识主导”的挑战，即高流量的中心节点自然会压制少数派的社区节点，隐含地将小型队列的独特临床模式视为异常值。现有的几何防御方法提供了一个安全基准，但未能解决这一效率-公平困境。为弥补这一差距，我们提出了Fed-Equilibrium框架，该框架将范式从简单的防御推进到拓扑均衡。与传统聚合器不同，Fed-Equilibrium实现了序列化的架构协同。它采用两阶段梯度控制级联：第一阶段（几何质量保证）通过余弦相似性漏斗强制执行方向一致性以过滤恶意噪声，从而创建一个稳定的流形；第二阶段（拓扑帕累托控制）随后通过识别最优帕累托膝点来主动调节经过验证的贡献。我们在一个整合了加拿大（CNODES）和美国（SyntheticMass）注册数据的跨国模拟中验证了该框架。实验结果表明，该系统在抵御对抗性发散以保护网络的同时，也容纳了代表性不足的信号。值得注意的是，代表数据量不足3%的少数美国分支达到了与数据丰富的加拿大中心相当的深度收敛。这证实了Fed-Equilibrium能有效对抗“知识主导”，建立了一个真正的“知识公地”，其中全局泛化性不会以牺牲局部临床代表性为代价。

## I 引言

临床注册数据库已发展成为现代医学研究的基础，提供了补充随机对照试验的真实世界证据[1 (https://arxiv.org/html/2609.11937#bib.bib1), 2 (https://arxiv.org/html/2609.11937#bib.bib2)]。然而，医疗保健的数字化造成了一个碎片化悖论：尽管存在大量高价值的临床数据，但由于HIPAA和GDPR等严格的隐私法规，这些数据仍被封锁在机构“数据孤岛”中[3 (https://arxiv.org/html/2609.11937#bib.bib3)]。联邦学习（FL）已成为连接这些孤岛的标准解决方案，能够在无需直接数据交换的情况下实现协作智能[4 (https://arxiv.org/html/2609.11937#bib.bib4)]。

然而，在保护这些协作网络时，研究界主要关注防御而非均衡[5 (https://arxiv.org/html/2609.11937#bib.bib5)]。先前的工作，如几何质量保证（GQA）框架，已经成功建立了一个稳健的安全基准，通过余弦相似性漏斗强制执行方向一致性，有效过滤了对抗性发散[6 (https://arxiv.org/html/2609.11937#bib.bib6), 7 (https://arxiv.org/html/2609.11937#bib.bib7)]。然而，仅有安全性并不能保证临床公平，尤其是在像PCORnet[8 (https://arxiv.org/html/2609.11937#bib.bib8)]或OHDSI[9 (https://arxiv.org/html/2609.11937#bib.bib9)]这样的真实世界联邦网络中。在这些影响力不对称的结构中，大型中心（如三级医院）倾向于主导并忽视小型分支（如社区诊所）的声音。

临床数据本质上是非独立同分布的（non-IID）[10 (https://arxiv.org/html/2609.11937#bib.bib10)]。即使在一个由几何防御保护的网络安全网络内，一个关键的次级挑战依然存在：知识主导[11 (https://arxiv.org/html/2609.11937#bib.bib11)]。大型三级中心（主导节点）产生的大幅梯度自然会压倒小型社区诊所（少数节点）的细微更新。标准的聚合算法如FedAvg由于盲目平均这些更新而遭受帕累托低效[4 (https://arxiv.org/html/2609.11937#bib.bib4), 11 (https://arxiv.org/html/2609.11937#bib.bib11), 12 (https://arxiv.org/html/2609.11937#bib.bib12)]。结果是，即使少数数据（包含有价值的罕见疾病概况）被安全过滤器成功保留，其影响在聚合过程中也可能被忽视。全局模型不可避免地趋向于“平均”患者，未能捕捉到分布长尾中的专业知识。

因此，我们提出了Fed-Equilibrium框架，该框架结合了几何防御与拓扑控制来解决这种不平衡。我们认为，一个稳健的临床网络需要由两部分组成的序列化架构协同：1）安全性（继承自GQA），用于过滤非方向一致的节点[5 (https://arxiv.org/html/2609.11937#bib.bib5)]；以及2）均衡性（本工作重点），用于主动调节剩余的良性梯度[13 (https://arxiv.org/html/2609.11937#bib.bib13)]。

为了实现这种均衡，我们的工作引入了拓扑帕累托控制（TPC）机制。TPC通过一个系统的参数扫描定位帕累托膝点，该扫描将全局模型投影到帕累托前沿上[12 (https://arxiv.org/html/2609.11937#bib.bib12)]。由此产生的阈值赋予了少数分支足够的杠杆，以抵消由大型中心产生的“收敛动量”。我们的框架进一步整合了FedQLoRA架构，确保代表性不足患者的独特临床模式被有效学习和保留，且不损害收敛性[14 (https://arxiv.org/html/2609.11937#bib.bib14), 15 (https://arxiv.org/html/2609.11937#bib.bib15)]。

在加拿大（CNODES）和美国（SyntheticMass）注册数据的跨国模拟验证中[16 (https://arxiv.org/html/2609.11937#bib.bib16), 17 (https://arxiv.org/html/2609.11937#bib.bib17)]，我们的结果表明Fed-Equilibrium有效中和了知识主导效应。本工作完成了范式转变：先前的几何防御确保了网络的安全，而Fed-Equilibrium则确保了网络的公平。

## II 方法

Fed-Equilibrium框架建立了一个协同梯度控制级联，旨在弥合几何安全与拓扑公平之间的差距。在GQA框架建立的稳健防御基准之上，Fed-Equilibrium将这些原则扩展到稳定的拓扑帕累托均衡状态。通过将多中心网络建模为异构信息网络，我们的系统确保全局模型捕捉临床流形的完整曲率，同时不压制少数见解。该框架通过三层运行：（A）语义协调，（B）联邦参数高效微调（PEFT）网络，以及（C）协同梯度控制级联。

### II-A 第一层：数据结构化与协调

为了弥合异构注册数据与大型语言模型（LLM）训练之间的差距，此层将多样化的数据源协调成统一的指令微调格式。

（此处应为图片说明：数据协调流水线示意图，展示了将异构临床注册数据转换为统一指令微调格式的过程）

- •模拟数据提取后环境：虽然现实世界的注册数据大多是非结构化的并存储在各种医院系统（如HIS、LIS、EMR等）中，但我们假设非结构化的叙述文本已通过本地ETL和NLP流水线进行了预处理。这一假设允许我们使用标准化数据集作为提取后注册数据输出的代理，并专注于系统异构性的挑战[16 (https://arxiv.org/html/2609.11937#bib.bib16)]。
- •模式对齐（ATC vs. 自由文本）：为了调和站点间巨大的互操作性差距，我们在OMOP通用数据模型（CDM）框架内实施了一个稳健的模式对齐过程[9 (https://arxiv.org/html/2609.11937#bib.bib9), 18 (https://arxiv.org/html/2609.11937#bib.bib18)]。具体而言，该流水线将结构化的加拿大ATC（解剖学治疗学化学）代码和美国的自然语言临床文本映射到一个标准化的语义空间。随后，我们将这些协调后的概况转换为用于监督微调（SFT）的自然语言提示[19 (https://arxiv.org/html/2609.11937#bib.bib19)]。我们构建了一个数据集 $\mathcal{D}=\{(x_i, y_i)\}$，其中 $x_i$ 表示合成的患者上下文（例如，“患者（美国）是一名白人女性，出生于1977年...”），而 $y_i$ 代表相应的临床决策或结果目标（临床病史：正常妊娠；急性支气管炎...干预措施：终止妊娠护理；白喉、百日咳和破伤风疫苗接种...）。这种表述确保了我们的模型能够直接从分布式的、保护隐私的注册数据中学习有临床意义的推理模式[20 (https://arxiv.org/html/2609.11937#bib.bib20)]。

### II-B 第二层：联邦PEFT架构（FedQLoRA）

为了实现无需数据集中化的协作训练，我们采用了“将模型带到数据处”的策略[4 (https://arxiv.org/html/2609.11937#bib.bib4)]，利用联邦量化低秩适应（FedQLoRA）架构[14 (https://arxiv.org/html/2609.11937#bib.bib14), 15 (https://arxiv.org/html/2609.11937#bib.bib15)]。这种方法确保原始临床数据永不离开本地环境，同时允许全局模型从多样化的来源中学习。

每个本地节点 $k$ 托管基础LLM（TinyLlama-1.1B）的一个副本[19 (https://arxiv.org/html/2609.11937#bib.bib19)]。为了减少通信开销，我们冻结主干权重 $W_{\text{base}}$，仅优化适配器矩阵 $A \in \mathbb{R}^{d \times r}$ 和 $B \in \mathbb{R}^{r \times d}$，其中 $r$ 是低秩分解的秩。前向传播 $h$ 定义为：

$h = W_{\text{base}} x + \alpha ABx$ (1)

其中 $\alpha$ 是一个缩放因子，控制低秩更新的贡献。因此，客户端 $k$ 的本地更新 $\Delta \theta_k$ 代表一个稀疏、高效的梯度向量，与完全微调相比显著减少了带宽使用[14 (https://arxiv.org/html/2609.11937#bib.bib14)]。

### II-C 第三层：协同梯度控制级联（TPC）

为了解决鲁棒性与公平性之间的理论张力，Fed-Equilibrium实现了一个两阶段梯度控制级联，如图2所示（https://arxiv.org/html/2609.11937#S2.F2）。不同于将安全性和效用视为正交目标的传统聚合器，我们的框架建立了序列化的协同：TPC调制器在GQA守门员建立的已验证信任区域内运行。在第二阶段引入TPC机制的唯一原因是，仅靠几何防御忽略了联邦临床网络中中心与分支之间的拓扑不平衡。这里的“拓扑”指的是对帕累托流形上影响力结构的控制，而非图连通性，强调均衡而非几何邻近性。

（此处应为图片说明：第二阶段TPC系统架构图，展示了最优帕累托膝点（$\lambda^*$）的识别，以在维持全局模型效用的同时最大化少数派公平性）

#### II-C1 第一阶段：GQA守门员

为了应对标准聚合对对抗性噪声和攻击的脆弱性，我们首先引入了一种几何共识机制作为第一阶段守门员，基于更新的方向对齐对其进行过滤。聚合器对全局模型更新应用门控函数：

$\theta_{t+1} = \theta_t + \sum \gamma_k \cdot \Delta \theta_k$ (2)

其中系数 $\gamma_k$ 由漏斗阈值 $\tau > 0$ 决定。通过设置 $\tau > 0$ [24 (https://arxiv.org/html/2609.11937#bib.bib24)]，GQA守门员通过两个不同的行为过滤器强制执行几何共识：

- •建设性异质性：拥有互补临床数据（例如，加拿大与美国数据集）的客户端，尽管幅度不同，但保持正向对齐（Sim > τ），并在全局更新中予以保留。
- •破坏性噪声：恶意更新（例如，符号翻转）通常表现为正交或负向（Sim ≤ τ），并被严格过滤掉[21 (https://arxiv.org/html/2609.11937#bib.bib21)]，确保优化保持在安全的信任区域内。

这一步对于稳定优化景观至关重要，创建了一个安全的信任区域，使得后续第二阶段的公平调整在数学上有效。

#### II-C2 第二阶段：拓扑帕累托控制（TPC）

在信任区域内，TPC机制充当拓扑调制器。第一阶段确保梯度安全，第二阶段则定义最优权重以确保其具有代表性。我们计算最终全局更新 $\Delta \theta_{\text{global}}$（对应于公式2中经过验证节点的总和）为：

$\Delta \theta_{\text{global}} = (1 - \lambda_k) \Delta \theta_{\text{maj}} + \lambda_k \Delta \theta_{\text{min}}$ (3)

其中 $\lambda_k$ 是帕累托对齐系数，控制多数与少数贡献之间的权衡。在实践中，$\lambda_k$ 在我们的分析中作为少数权重 $w_{us}$ 来操作。我们并非采用启发式权重，而是通过非线性敏感性分析经验性地确定最优的 $w_{us}$，通过扫描 $w_{us} \in \{0.1, \dots, 14.0\}$ 来识别帕累托膝点[12 (https://arxiv.org/html/2609.11937#bib.bib12)]。此机制实施拓扑控制，以解决像PCORnet或OHDSI[8 (https://arxiv.org/html/2609.11937#bib.bib8), 9 (https://arxiv.org/html/2609.11937#bib.bib9)]这样的真实世界联邦网络中影响力结构的不对称性问题，在这些网络中，高流量中心（例如，大型医疗中心）倾向于主导并忽视小型分支（例如，社区卫生中心）的声音。通过识别帕累托前沿上的膝点，TPC充当均衡稳定器，它调节少数节点的战略影响力，以抵消多数节点的收敛动量。GQA守门员使用的余弦相似度阈值由角度界限 $\theta_{\min}$ 和 $\theta_{\max}$ 定义，它们分别指定了局部梯度与共识方向之间可接受的最小和最大角度偏差。这恢复了协作公平性，并在中心与分支之间达到了均衡，确保少数见解得以保留，且不损害收敛性。

### II-D 模拟与实验设置

该框架在PyTorch中模拟的一个星型拓扑临床网络中进行了验证[22 (https://arxiv.org/html/2609.11937#bib.bib22)]。网络被划分为13个节点：10个主导的加拿大站点（高流量管理数据）和3个少数的美国站点（专业EHR数据）。这种配置创造了一个极端