FIRMA: 基于斐波那契环模型聚合的隐私保护联邦学习

# 斐波那契环模型聚合用于隐私保护联邦学习  
来源：https://arxiv.org/html/2605.22898  
Rachid Hedjam  
计算机科学系  
主教大学  
加拿大舍布鲁克  
rhedjam@ubishops\.ca  

###### 摘要  

联邦学习协议面临一个结构性的三难困境：经典的基于服务器的聚合\[1 (https://arxiv.org/html/2605.22898#bib.bib1)\]会产生单点故障和梯度反转风险；去中心化的环状 gossip 替代方案\[13 (https://arxiv.org/html/2605.22898#bib.bib13)\]通过无信息的均匀权重将分类头部暴露给半诚实的对等节点；而个性化方法\[2 (https://arxiv.org/html/2605.22898#bib.bib2)\]重新引入了中央聚合。目前没有任何协议能同时实现无服务器操作、永久隐私的头部、环状拓扑以及有原则的非对称邻居权重。我们提出 FIRMA（FIbonacciRingModelAggregation），一个包含三种逐步增强的联邦学习协议族：1）FibFL 奠定基础：基于斐波那契权重的邻居混合的免服务器环聚合，以及永久隐私的分类头部。2）FibFL+ 在此基础上增加基于精度的门控邻居抑制，选择性降低收敛不良的对等节点权重，同时保留斐波那契方向偏差。3）FibFL++，完整系统，通过 2-opt 环排列最大化相邻客户端类别多样性，通过 Kg = ⌈N/2⌉ 次 gossip 传递实现全局环覆盖，以及余弦退火的自保留校准来完善该族。我们建立了一个收敛速率界以及三个支持命题，涉及归一化、覆盖、保留和多样性最优性。跨越 28 种配置（四个基准数据集乘以七种异构性制度）的系统实验表明，FibFL++ 在全部 12 种标签偏斜配置中均超越 FedAvg，在 CIFAR-10 上 K=1 时峰值优势达 +20.7 个百分点。在 Dirichlet 异构性下，FibFL++ 是所有免服务器协议中的 Pareto 主导方法，在 28 种配置中取得 17 种最高准确率。代码可见 https://github.com/Hedjrachid/FIRMA  

索引词：联邦学习、个性化 FL、去中心化优化、环状拓扑、斐波那契数列、黄金比例、头部隐私、非 IID 数据异构性、gossip 协议。  

## 1. 引言  

### 背景与动机。  
边缘设备（智能手机、可穿戴设备、自主传感器和联邦医疗仪器）的迅速普及产生了大量敏感数据，其集中化变得越来越不可行。隐私立法（GDPR、HIPAA、中国的个人信息保护法）、数据主权约束以及通信带宽限制共同禁止为集中训练而简单收集客户端数据。由 McMahan 等人形式化的联邦学习\[1 (https://arxiv.org/html/2605.22898#bib.bib1)\]通过在原地训练模型来解决这一问题：客户端计算本地参数更新，仅向中央协调器传递聚合的梯度或模型参数，因此原始数据从不离开设备。尽管有这一进展，三个相互关联的结构性弱点限制了其在真正去中心化系统中的部署。  

服务器依赖与梯度反转风险。  
FedAvg\[1 (https://arxiv.org/html/2605.22898#bib.bib1)\]中的中央参数服务器在每个轮次接收每个客户端的完整梯度轨迹。一个半诚实的服务器可以利用这一点通过梯度反转攻击\[19 (https://arxiv.org/html/2605.22898#bib.bib19),20 (https://arxiv.org/html/2605.22898#bib.bib20)\]高保真地重建客户端训练样本——差分隐私只能通过精度损失来缓解这一威胁，而在实践中这种损失会使全局模型不可用\[4 (https://arxiv.org/html/2605.22898#bib.bib4)\]。除了隐私问题，服务器是单点故障和通信瓶颈，其吞吐量随 N 线性增长：每轮必须传输 2Np 个参数通过服务器，无论本地相似性如何。  

个性化与头部暴露。  
全局模型平均对所有客户端施加统一的决策边界。在非 IID 数据普遍存在的实际场景\[17 (https://arxiv.org/html/2605.22898#bib.bib17)\]下，收敛分析\[6 (https://arxiv.org/html/2605.22898#bib.bib6)\]表明跨客户端的梯度差异会降低优化界。更关键的是，分类头部 ηi 直接编码了类别判别信息：将其传输给服务器或环邻居构成了梯度反转攻击不涵盖的隐私泄露。因此，将 ηi 永久保持在本地本身就是一种理想的隐私属性\[2 (https://arxiv.org/html/2605.22898#bib.bib2)\]，独立于且正交于差分隐私。  

拓扑与权重设计。  
去中心化替代方案用用户指定图上的点对点 gossip 取代服务器\[15 (https://arxiv.org/html/2605.22898#bib.bib15),16 (https://arxiv.org/html/2605.22898#bib.bib16)\]。环形拓扑在实践中特别有吸引力：它不需要全局网络知识，支持简单的令牌传递实现，并且对于任何 N≥2 都是可证明连通的\[16 (https://arxiv.org/html/2605.22898#bib.bib16)\]。然而，现有的环形 FL 协议\[14 (https://arxiv.org/html/2605.22898#bib.bib14)\]对左右邻居使用均匀权重 (1/2,1/2)——这是一种任意的、无信息的选择，无论模型质量、数据多样性或位置关系如何，都将所有邻居同等对待。为环形 gossip 设计有原则的、非对称的、无参数的邻居权重，据我们所知，仍然是 FL 文献中的一个开放问题。  

### 现有方法及其差距  

图1 (https://arxiv.org/html/2605.22898#S1.F1) 沿着与我们工作最相关的两个维度绘制了 FL 设计空间：头部隐私（分类头部是否与任何外部方共享）和拓扑自由度（是否需要中央服务器）。出现四个象限。  

参见图注  
图 1：FL 设计空间，沿两个轴：头部隐私（x 轴）和拓扑自由度（y 轴）。红色 = 需要服务器，共享头部；琥珀色 = 需要服务器，私有头部；灰色 = P2P 环形，共享头部；蓝色 = FibFL 族（本文）。没有现有协议占据右上象限：P2P 环形拓扑且具有永久私有头部（彩色在线）。  

左下：服务器 + 共享头部（红色）。规范象限。FedAvg\[1 (https://arxiv.org/html/2605.22898#bib.bib1)\]、FedProx\[3 (https://arxiv.org/html/2605.22898#bib.bib3)\] 和 SCAFFOLD\[4 (https://arxiv.org/html/2605.22898#bib.bib4)\] 都通过中央服务器聚合完整模型——包括判别头部。这种设计通信高效，但将头部和完整梯度轨迹暴露给服务器，从而支持梯度反转攻击\[19 (https://arxiv.org/html/2605.22898#bib.bib19),20 (https://arxiv.org/html/2605.22898#bib.bib20)\]。  

右下：服务器 + 私有头部（琥珀色）。FedRep\[2 (https://arxiv.org/html/2605.22898#bib.bib2)\] 和元学习方法如 pFedMe\[8 (https://arxiv.org/html/2605.22898#bib.bib8)\] 及 Per-FedAvg\[10 (https://arxiv.org/html/2605.22898#bib.bib10)\] 通过保持头部本地化引入个性化。这消除了头部暴露，但提取器梯度仍然在每个轮次流过中央服务器。服务器仍然是单点故障和潜在的梯度反转对手。  

左上：P2P 环形 + 共享头部（灰色）。RDFL\[14 (https://arxiv.org/html/2605.22898#bib.bib14)\] 和基于 Gossip 的 FL\[13 (https://arxiv.org/html/2605.22898#bib.bib13)\] 通过使用点对点环形通信移除了服务器。然而，它们将完整模型（包括头部）传递给环邻居，这些邻居可能是敌对的或半诚实的。均匀邻居权重 (1/2,1/2) 无论模型质量、数据多样性或环位置如何，都将所有邻居同等对待。在本文中，我们提出 FIRMA（FIbonacciRingModelAggregation），一个由三种逐步增强的联邦学习协议组成的族，其动机在于现有文献中仍空缺的差距。  

**FL 设计空间的右上象限——具有私有头部的 P2P 环形——据我们所知，任何现有协议都未占据。** 没有现有方法同时提供：(i) 免服务器、点对点操作；(ii) 从不离开本地设备的分类头部；(iii) 有原则的非对称邻居权重；(iv) 具有全局覆盖的环形拓扑。斐波那契权重对 (α,β) = (1/φ, 1/φ²) 通过黄金比例恒等式满足 α+β=1，提供了唯一可从单个数学常数导出的归一化、无参数、非对称对，并构成了整个族族的数学基础。这一差距是本工作的核心动机。三个变体围绕一个指导原则设计：每个变体在其前身上恰好添加一个结构组件，从而无需单独消融实验即可直接从结果中隔离每个组件的增量贡献。  

**FibFL** 建立了最小可行的环形 FL 协议——具有斐波那契权重聚合和永久私有头部的免服务器 gossip——并作为架构基础。其局限性在于它平等对待所有环邻居，无论其收敛状态如何，并且使用固定任意的环形顺序，可能将统计上相似的客户端相邻放置，降低梯度多样性。  

**FibFL+** 通过引入基于精度的门控插值解决了第一个局限性，该插值抑制收敛不良的邻居，使混合适应联邦的当前训练状态，同时不放弃斐波那契方向偏差。  

**FibFL++** 通过计算一个 2-opt 环排列最大化相邻客户端类别多样性来解决第二个局限性，并通过 Kg = ⌈N/2⌉ 次 gossip 传递实现全局环覆盖，以及用于稳定收敛的余弦退火自保留来进一步增强协议。  

结果是一个家族，其中每个成员在精度-收敛权衡空间中占据不同的点：FibFL 和 FibFL+ 提供即时热启动，零环初始化成本，使其适用于短周期联邦；而 FibFL++ 是推荐的选择，当存在中等到强异构性和公平性要求且额外的计算开销可接受时。  

### 我们的贡献  

关键的数学洞察在于黄金比例斐波那契恒等式 1/φ + 1/φ² = 1（φ = (1+√5)/2）为环形 gossip 提供了一个自然归一化、非对称且无参数的权重对 (α,β)，无需额外超参数。如图 1 所示，FibFL 族是第一个共同占据 FL 设计空间中 P2P 环形、私有头部象限的系统。具体贡献如下：  

- C1. **FibFL 基本协议**（第 4.3 节）。第一个将头部隐私与非对称斐波那契比例邻居权重以及两阶段 Adam 本地训练相结合的环形 FL 协议。架构组合是新颖的；两阶段结构改编自 FedRep\[2 (https://arxiv.org/html/2605.22898#bib.bib2)\]。  
- C2. **FibFL+**（第 4.4 节）。在斐波那契先验与基于精度的后验之间进行精度门控插值，抑制表现不佳的邻居，同时保留斐波那契方向偏差。先验-后验混合及其在环形 gossip 中的应用是原创。  
- C3. **FibFL++ 并带有三项结构性修复**（第 4.5 节）。(A) 2-opt 多样性环排序；(B) 具有校准每轮保留的 K 次全局覆盖 gossip；(C) 余弦退火 γ 配合 FedAvg 风格预热。所有三项修复均为本工作原创。  
- C4. **理论分析**（第 5 节）。三个命题和一个收敛界（定理 5.6），将谱间隙、数据异构性和自保留与优化-个性化权衡联系起来。  
- C5. **实证评估**（第 6 节）。跨越 168 种配置（6 种方法 × 4 个数据集 × 7 种划分制度）的系统比较。独立消融修复 A、B、C 量化了每个修复的独立贡献。  

本文其余部分组织如下：第 2 节（https://arxiv.org/html/2605.22898#S2）回顾相关工作。第 3 节（https://arxiv.org/html/2605.22898#S3）形式化问题。第 4 节（https://arxiv.org/html/2605.22898#S4）介绍 FibFL 族。第 5 节（https://arxiv.org/html/2605.22898#S5）提供理论分析。第 6 节（https://arxiv.org/html/2605.22898#S6）介绍实验与评估，最后第 7 节（https://arxiv.org/html/2605.22898#S7）提供一般性讨论和结论。  

## 2. 相关工作  

### 2.1 集中式联邦学习  

规范的 FedAvg 协议\[1 (https://arxiv.org/html/2605.22898#bib.bib1)\]在每个客户端上运行 E 步本地 SGD，然后进行服务器端加权聚合。其在非 IID 数据下的收敛特性随后由 Li 等人\[6 (https://arxiv.org/html/2605.22898#bib.bib6)\]刻画，他们将梯度差异确定为性能退化的主要来源。FedProx\[3 (https://arxiv.org/html/2605.22898#bib.bib3)\]通过向本地目标添加邻近惩罚 (μ/2)‖ω−ωᵗ‖² 来缓解客户端漂移，该惩罚限制了与全局模型的偏差。SCAFFOLD\[4 (https://arxiv.org/html/2605.22898#bib.bib4)\]通过控制变量消除客户端漂移；FedNova\[5 (https://arxiv.org/html/2605.22898#bib.bib5)\]纠正了由异构本地更新次数引起的目标不一致性。所有这些方法都通过中央服务器路由更新，并聚合完整模型，包括分类头部。  

### 2.2 个性化联邦学习  

**层分解。** FedRep\[2 (https://arxiv.org/html/2605.22898#bib.bib2)\]是最直接相关的个性化基线。它将模型分解为全局共享的特征提取器和本地保留的分类头部，引入了双阶段训练过程，FibFL 族采用该过程并配备持久 Adam 优化器。FibFL 与 FedRep 的关键区别在于消除中央服务器：FedRep 的提取器聚合每个轮次都需要服务器，将梯度信息暴露给集中式方。LG-FedAvg\[7 (https://arxiv.org/html/2605.22898#bib.bib7)\]采用互补观点，全局共享头部，同时保持提取器本地化。  

**基于正则化的个性化。** pFedMe\[8 (https://arxiv.org/html/2605.22898#bib.bib8)\]将个性化形式化为双层 Moreau 包络问题，在温和假设下为个性化模型提供了收敛保证。Ditto\[9 (https://arxiv.org/html/2605.22898#bib.bib9)\]向全局模型添加正则化项，同时实现公平性和个性化保证。Per-FedAvg\[10 (https://arxiv.org/html/2605.22898#bib.bib10)\]应用 MAML 学习全局初始化，用于快速逐客户端微调。  

**混合与多任务方法。** APFL\[11 (https://arxiv.org/html/2605.22898#bib.bib11)\]通过逐客户端的凸组合自适应地混合本地和全局模型。FedEM\[12 (https://arxiv.org/html/2605.22898#bib.bib12)\]将每个客户端的分布建模为潜在全局组件的混合，通过 EM 过程联合求解 FL 问题。没有一种个性化方法