PRoVeFL: 联邦学习中私密、鲁棒且可验证的聚合

# PRoVeFL: 联邦学习中的私有、鲁棒且可验证的聚合 来源: https://arxiv.org/html/2607.06612 ###### 摘要 联邦学习（Federated Learning, FL）使多个客户端能够在保留数据本地性的同时协同训练机器学习模型，从而增强用户隐私。然而，传统联邦学习框架依赖于中心化聚合服务器，并假设客户端是“诚实但好奇”的，这使得它们容易受到服务器端推理攻击和客户端投毒攻击。尽管近期工作探索了安全且具有拜占庭鲁棒性的联邦学习协议，但它们面临隐私、完整性和可验证性之间的根本权衡，并且由于大量使用密码学原语而产生了巨大的计算和通信开销。在这项工作中，我们提出了 PRoVeFL——一个新颖的、模块化的联邦学习框架，它能够实现隐私保护、拜占庭鲁棒性和可验证的聚合。PRoVeFL 使用多服务器架构，利用多密钥全同态加密。每个客户端加密其本地模型更新，并将加密后的份额分发给所有服务器。这种设计实现了一种混合计算模型，其中密文操作在严格的隐私约束下被精心卸载到明文域，以高效地评估复杂的统计聚合规则。PRoVeFL 兼容多种最先进的拜占庭鲁棒聚合算法（例如，Krum、修剪均值、FLTrust、范数裁剪、MESAS 等），并通过可验证性机制进一步增强这些算法，该机制仅需信任至少一个诚实服务器。我们在不同设置下对其进行了评估，并展示了其在参数和参与者数量变化时的可扩展性。与基于分布式信任且具有可比安全保证的先前工作 Prio 和 ELSA 相比，PRoVeFL 的运行时间分别提高了 100 倍和 10 倍。 ###### 关键词: 联邦学习, 拜占庭鲁棒聚合, 多密钥同态加密, 可验证聚合, 隐私保护机器学习 ††journal:arXiv\\affiliation \[label1\]organization=印度理工学院（BHU）, 城市=瓦拉纳西, 国家=印度\\affiliation\[label2\]organization=Vaulttree, 城市=, 国家=爱尔兰\\affiliation\[label3\]organization=华威大学, 城市=考文垂, 国家=英国\\affiliation\[label4\]organization=牛津大学, 城市=牛津, 国家=英国\\affiliation\[label5\]organization=阿卜杜拉·古尔大学, 城市=开塞利, 国家=土耳其 ## 1 引言 联邦学习（FL）允许多个客户端在不直接共享其本地数据的情况下，协同训练一个隐私保护的分布式机器学习（ML）模型 \[38 (https://arxiv.org/html/2607.06612#bib.bib39),37 (https://arxiv.org/html/2607.06612#bib.bib38)\]。通过去中心化模型训练，联邦学习为医疗和金融等敏感应用提供了显著优势，在这些领域中，数据通常分散在多个机构之间，每个机构都受到严格的监管约束和商业竞争的限制 \[49 (https://arxiv.org/html/2607.06612#bib.bib57)\]。在其标准设计中，单个服务器维护一个全局机器学习模型，并通过聚合多个客户端发送的本地梯度更新来逐步更新该模型。然而，这种设计面临安全性和隐私威胁 \[39 (https://arxiv.org/html/2607.06612#bib.bib4)\]；特别是，攻击者可以利用模型更新来推断私有信息 \[40 (https://arxiv.org/html/2607.06612#bib.bib3),36 (https://arxiv.org/html/2607.06612#bib.bib1)\]，或者如果服务器被攻破，则可以操纵聚合过程 \[16 (https://arxiv.org/html/2607.06612#bib.bib35)\]，而如果客户端被攻破，全局模型可能会被投毒 \[13 (https://arxiv.org/html/2607.06612#bib.bib37),50 (https://arxiv.org/html/2607.06612#bib.bib36),28 (https://arxiv.org/html/2607.06612#bib.bib9)\]。为了应对这些威胁，需要同时实现三个相互关联的特性：隐私性、拜占庭鲁棒性和可验证性 \[42 (https://arxiv.org/html/2607.06612#bib.bib60)\]。仅仅隐藏原始数据对于隐私保护是不够的。正如多项研究 \[16 (https://arxiv.org/html/2607.06612#bib.bib35),25 (https://arxiv.org/html/2607.06612#bib.bib34)\] 所证实的，梯度更新可能会泄露私有信息。因此，为了增强隐私性，还集成了其他隐私增强技术（PET），例如安全多方计算（SMPC）、全同态加密（FHE）和差分隐私（DP）。虽然此类协议可以隐藏客户端的更新不被服务器知晓，但它们也可能使得识别恶意更新变得更加困难。近期工作提出了将安全聚合与鲁棒性度量相结合的方法，但这些方法通常会产生高昂的计算和通信成本，或者依赖于宽松的信任假设。它们不够灵活，无法支持多种拜占庭鲁棒聚合规则，而是强制执行简单的启发式方法，例如通过范数裁剪 \[42 (https://arxiv.org/html/2607.06612#bib.bib60)\]。其他方法，例如 MUDGUARD \[51 (https://arxiv.org/html/2607.06612#bib.bib49)\]，采用隐私保护的聚类方法。这可以保护全局模型免受大多数恶意客户端的攻击，但会显著增加聚合的复杂性和成本。类似地，ELSA \[42 (https://arxiv.org/html/2607.06612#bib.bib60)\]、ACORN \[4 (https://arxiv.org/html/2607.06612#bib.bib62)\] 和 EIFFeL \[44 (https://arxiv.org/html/2607.06612#bib.bib64)\] 将零知识证明或完整性检查集成到安全聚合中，通过强制执行客户端更新的指定边界或范数来减轻恶意客户端的影响。然而，它们与当前轮次的本地模型更新分布不一致；相反，它们将之前的全局模型更新视为可信参考。研究还表明，在普通联邦学习设置中执行的安全聚合并不安全，仍然可能泄露敏感和私有信息 \[19 (https://arxiv.org/html/2607.06612#bib.bib33)\]。 第三个关键特性是聚合过程的可验证性。在标准联邦学习中，通常假设客户端信任中心服务器诚实地执行了预期的聚合。然而，恶意或受感染的服务器可能通过注入恶意设计的更新、忽略某些客户端的贡献或更改聚合结果来偏离协议。因此，验证服务器报告的全局模型更新是否真正对应于正确的聚合，同时正确惩罚恶意更新，这一点至关重要。专注于可验证聚合的协议（例如 VerifyNet \[53 (https://arxiv.org/html/2607.06612#bib.bib65)\] 或 SVeriFL \[18 (https://arxiv.org/html/2607.06612#bib.bib66)\]）要求服务器生成聚合的密码学证明，从而使客户端能够检测服务器的错误行为。然而，它们假设所有被聚合的客户端更新都是合法的。 同时实现所有这三个特性——客户端更新隐私、拜占庭鲁棒性和服务器可验证性——是一个重大挑战。现有的旨在实现其中任何一个特性的方法往往会阻碍或与其它特性相矛盾。全同态加密（FHE）\[21 (https://arxiv.org/html/2607.06612#bib.bib23),9 (https://arxiv.org/html/2607.06612#bib.bib22)\] 有望通过直接在加密数据上进行计算并提供强大的隐私保证（无需可信第三方）来实现关键的安全属性。此外，FHE 通过支持安全、可审计的计算流水线，可以支持拜占庭鲁棒性和可验证性。近期的工作，例如 FedML-HE \[27 (https://arxiv.org/html/2607.06612#bib.bib26)\]、xMK-CKKS \[34 (https://arxiv.org/html/2607.06612#bib.bib24)\] 和 tMK-CKKS \[12 (https://arxiv.org/html/2607.06612#bib.bib25)\]，在一定程度上展示了这些能力。然而，这些系统仍然遭受显著的计算开销，尚未准备就绪可供采用。特别是，拜占庭弹性规则中使用的非线性、基于比较的逻辑仍然难以实现。在纯 FHE 框架中确保可验证性通常需要昂贵的零知识证明或复杂的密码学承诺，进一步增加了成本。这些局限性阻碍了可扩展性，使协议不适用于实时系统，并限制了其适用性。 ### 1.1 我们的贡献。 本文提出了一个通用的私有、鲁棒且可验证的联邦学习（PRoVeFL）框架，以应对上述挑战，并同时确保客户端的隐私性、拜占庭鲁棒性和聚合可验证性。PRoVeFL 采用模块化的多服务器架构，具有可扩展性，以解决安全聚合协议固有的计算和通信效率问题。与传统的单服务器联邦学习系统不同，PRoVeFL 对模型参数进行分区：（1）以分配计算负载，（2）以允许将部分密文域计算卸载到明文域，同时不损害隐私。这种分区使得可以在少量服务器上实现门限解密，而若客户端数量庞大则无法实现。通过将分区与 CKKS 特定参数（如多项式模数度数）对齐，我们最大限度地提高了密文打包效率，减少了零填充的需求，从而最小化了计算和通信成本。 PRoVeFL 确保客户端的更新对服务器保密，除非所有服务器串通。使用多密钥同态加密，该协议保证只要至少有一个服务器是诚实的，就能保护隐私，这扩展了 ELSA \[42 (https://arxiv.org/html/2607.06612#bib.bib60)\] 和 SafeFL \[20 (https://arxiv.org/html/2607.06612#bib.bib50)\] 中考虑的攻击模型。它还进一步扩展了 MUDGUARD \[51 (https://arxiv.org/html/2607.06612#bib.bib49)\] 和 Franzese 等人 \[14 (https://arxiv.org/html/2607.06612#bib.bib54)\] 的验证保证，通过验证聚合的正确性以及服务器强制执行鲁棒性规则的情况。PRoVeFL 改进了 Franzese 等人 \[14 (https://arxiv.org/html/2607.06612#bib.bib54)\] 使用的点对点方法的可扩展性，其设计确保了安全性和性能随服务器数量增加而扩展，而不会给客户端增加额外的通信或计算负担。PRoVeFL 与现有联邦学习方案在关键安全属性上的详细比较见表 1 (https://arxiv.org/html/2607.06612#S1.T1)。 PRoVeFL 兼容最先进的拜占庭弹性聚合规则。我们通过实现 Krum \[5 (https://arxiv.org/html/2607.06612#bib.bib40)\]、修剪均值 (Trimmed Mean) \[56 (https://arxiv.org/html/2607.06612#bib.bib41)\]、FLTrust \[8 (https://arxiv.org/html/2607.06612#bib.bib42)\] 和 MESAS \[29 (https://arxiv.org/html/2607.06612#bib.bib8)\] 来证明这一点。这是对现有方法（这些方法仅依赖诸如范数裁剪之类的宽松规则）的重大改进。我们还精心选择了这些聚合规则，以涵盖复杂操作，例如（坐标级别）排序、成对比较和余弦相似度。PRoVeFL 的一个核心技术思想是使用共同生成的随机乘法掩码 r，这使得能够在不损害隐私的情况下，实现从加密计算到明文计算的精心控制的过渡。具体来说，每个客户端在组公钥下加密其更新，并将加密后的掩码 \(\text{Enc}_{pk}(r)\) 同态地应用于其本地更新份额 \(u_{ik}\)，得到 \(\text{Enc}_{pk}(r \cdot u_{ik})\)。然后，服务器执行必要的统计操作，得到 \(\text{Enc}_{pk}(r \cdot s_{ik})\)，然后协作解密结果。至关重要的是，解密仅揭示掩码后的中间值。这使得计算昂贵的筛选和过滤步骤可以在明文域中完成，成本仅为同态执行的一小部分。 总之，我们的主要贡献如下： - • 隐私与鲁棒性：PRoVeFL 是一个通用且灵活的多服务器联邦学习框架，它可以集成最先进的拜占庭鲁棒聚合方案，同时利用多密钥同态加密保护客户端更新的隐私。 - • 效率：PRoVeFL 通过在多服务器设置中引入部分明文计算（通过混淆密文以保护顺序和隐私），并显著降低计算和通信成本以实现可扩展性，从而提高了效率和实用性。 - • 可验证性：PRoVeFL 为整个聚合过程提供了可验证性，包括确保拜占庭鲁棒性计算正确执行的保证，且仅需最少信任假设（至少一个诚实服务器）。 - • 评估：我们在不同设置下评估了 PRoVeFL，参数、参与者和服务器的数量各不相同，同时使用了最先进的拜占庭鲁棒聚合规则，例如 \(L_2\) 范数、Krum、修剪均值和 FLTrust。结果证明了 PRoVeFL 的实用性和效率。 表 1：相关联邦学习框架的定性比较。 | 研究 | 服务器数量 | 属性 | 威胁模型 | | | | | | | | 隐私性 | 鲁棒性 | 可验证性 | 恶意服务器 | 恶意客户端 | |---|---|---|---|---|---|---| | SeaFlame \[47 (https://arxiv.org/html/2607.06612#bib.bib48)\] | 2 | ✓ | ✓ | ✗ | ✓ | ✓ | | MUDGUARD \[51 (https://arxiv.org/html/2607.06612#bib.bib49)\] | \(\geq 2\) | ✓ | ✓ | ✓ | ✓ | ✓ | | SafeFL \[20 (https://arxiv.org/html/2607.06612#bib.bib50)\] | \(\geq 2\) | ✓ | ✓ | ✗ | ✓ | ✓ | | TAPFed \[54 (https://arxiv.org/html/2607.06612#bib.bib51)\] | \(>2\) | ✓ | ✗ | ✓ | ✓ | ✗ | | DefendFL \[32 (https://arxiv.org/html/2607.06612#bib.bib52)\] | 1 | ✓ | ✓ | ✗ | ✗ | ✓ | | Franzese 等人 \[14 (https://arxiv.org/html/2607.06612#bib.bib54)\] | – | ✓ | ✓ | ✓ | ✓ | ✓ | | ELSA \[42 (https://arxiv.org/html/2607.06612#bib.bib60)\] | 2 | ✓ | ✓ | ✗ | ✓ | ✓ | | Ma 等人 \[35 (https://arxiv.org/html/2607.06612#bib.bib61)\] | 2 | ✓ | ✗ | ✓ | ✓ | ✓ | | ACORN \[4 (https://arxiv.org/html/2607.06612#bib.bib62)\] | 1 | ✓ | ✓ | ✗ | ✓ | ✓ | | Tang 等人 \[48 (https://arxiv.org/html/2607.06612#bib.bib63)\] | 2 | ✓ | ✓ | ✗ | ✓ | ✓ | | Eiffel \[44 (https://arxiv.org/html/2607.06612#bib.bib64)\] | 1 | ✓ | ✓ | ✗ | ✗ | ✓ | | RoFL \[6 (https://arxiv.org/html/2607.06612#bib.bib12)\] | 1 | ✓ | ✓ | ✗ | ✗ | ✓ | | Prio \[10 (https://arxiv.org/html/2607.06612#bib.bib11)\] | \(\geq 2\) | ✓ | ✓ | ✗ | ✗ | ✓ | | Prio+ \[1 (https://arxiv.org/html/2607.06612#bib.bib10)\] | \(\geq 2\) | ✓ | ✓ | ✗ | ✗ | ✓ | | PVFL \[55 (https://arxiv.org/html/2607.06612#bib.bib69)\] | 1 | 1 | ✓ | ✗ | ✓ | ✗ | ✗ | | VPPFL \[26 (https://arxiv.org/html/2607.06612#bib.bib68)\] | 2 | 2 | ✓ | ✓ | ✓ | ✗ | ✓ | | **PRoVeFL** | **\(\geq 2\)** | **✓** | **✓** | **✓*** | **✓** | **✓** | * ✓ 指的是对最先进的鲁棒性度量的广泛覆盖。 ## 2 背景与相关工作 在本节中，我们将讨论联邦学习（FL）的背景及其对投毒攻击、推理攻击和聚合攻击的敏感性。我们还将讨论我们框架中用于与联邦学习集成的安全构建块。 ### 2.1 联邦学习 联邦学习（FL）是一种分布式机器学习范式，旨在跨多个客户端（例如，大型机构如医疗或金融组织、移动设备或传感器）协同训练共享的全局模型，而无需将其本地数据集传输到中央服务器 \[38 (https://arxiv.org/html/2607.06612#bib.bib39)\]。该框架在隐私敏感的应用中特别有用，作为第一道防线，因为它将原始数据保留在本地，只允许移动本地训练的模型。形式化地，考虑 n 个客户端，每个客户端持有一个私有数据集 \(D_i\)。目标是训练一个全局模型 \(u \in \mathbb{R}^d\)，使其最小化表示为本地经验损失加权平均的全局损失函数： \(\min_u F(u) = \sum_{i=1}^n w_i F_i(u)\)，其中 \(F_i(u) = \frac{1}{|D_i|} \sum_{(x,y) \in D_i} \ell(u; x, y)\) 是本地损失。