FoggyTrust: 基于分层信任网络的鲁棒联邦学习

# FoggyTrust：基于分层信任网络的鲁棒联邦学习
来源：https://arxiv.org/html/2606.27622

###### 摘要

拜占庭鲁棒联邦学习旨在保护分布式模型训练免受恶意或受损客户端的侵害，而无需访问其私有数据。FLTrust 通过引入一个受信任的服务器端根数据集来解决这一挑战，该数据集为客户端更新分配信任分数，以实现更鲁棒的聚合。在这项工作中，我们提出了 FoggyTrust，这是 FLTrust 的一个分层扩展，它将信任计算本地化到雾节点，使得框架能够更好地处理全局异构数据，同时在局部同质的客户端组内保持鲁棒性。我们进一步表明，这种两层架构可以通过将基于局部信任的聚合与异构感知的全局优化器（如 FedAdam 和 SCAFFOLD）相结合，同时解决信任估计中的分布失配和跨组的客户端漂移问题。在基准数据集上，FoggyTrust 在更具挑战性的异构设置中取得了最大的增益，特别是在 Krum 和 Trim 攻击下的 CIFAR-10 上，相比 FLTrust 提升了超过 50%。我们还在一个真实世界的野生动物监测数据集上测试了 FoggyTrust，展示了分层信任网络在对社会有影响、安全关键的分布式野生动物监测等设置中用于鲁棒联邦学习的潜力。

## I. 引言

联邦学习 (FL) 是一种新兴的分布式机器学习范式，它使得在不暴露客户端数据的情况下进行学习成为可能 [10,15,5,9]。具体来说，FL 使用一个维护全局模型的集中式服务提供商。在学习算法的每次迭代中，服务提供商（例如 Google、Apple 等）将全局模型发送给每个客户端（例如智能手机等），然后客户端使用设备上的数据对模型进行本地更新。本地更新随后被发送回服务提供商，服务提供商使用聚合规则将所有本地更新合并为一个全局更新。

由于每个客户端只发送其参数更新，因此无需向服务提供商暴露数据，这在隐私方面具有重要优势，并具有多种应用场景 [7,14]。然而，隐私是一把双刃剑。由于无法访问用于生成本地更新的数据，服务提供商无法验证更新是否正确、是否未被篡改以及是否非恶意。因此，FL 设置容易受到拜占庭攻击，其中恶意客户端可能会毒化其本地数据 [3,16] 或本地更新 [6,2,1,19]，从而降低全局模型的性能。

这个问题与多智能体协调尤为相关。例如，一个多智能体系统可能依赖于由 FL 训练的视觉模型来识别其环境的各个方面。如果恶意智能体破坏了模型，智能体将难以识别其环境的相关方面并完成任务。

参见图 1：比较我们的 FoggyTrust 算法在 CIFAR-10 数据集上相对于 FLTrust（SOTA 基线）得分的百分比，涵盖所有攻击。我们的方法 FoggyTrust 在更难对付的攻击（如 Krum 和 Trim 攻击）上表现最佳，但在数据投毒攻击方面存在局限性。

## II. 先前工作

### II-A 拜占庭鲁棒 FL 方法背景

拜占庭鲁棒 FL 方法旨在解决这个问题。也就是说，它们试图使得 FL 能够在客户端可能恶意或受损的情况下成功进行。许多这些方法，包括 Krum [4]、修剪均值 [20] 和中位数 [20]，都是使用统计技术来确定更新是否恶意的鲁棒聚合规则。然而，研究表明这些聚合规则仍然容易受到精心设计的攻击 [6]。这些攻击以多种方式利用统计技术。

Fang 等人 [6] 创建了一个针对这些攻击的通用框架，该框架适应于每种鲁棒聚合方法。本质上，他们的框架创建了一个优化问题，试图沿着与非恶意更新最相反的方向更新全局模型。他们在 Krum 和修剪均值聚合方法上测试了他们的框架，并表明他们的攻击（分别为 Krum 攻击和 Trim 攻击）严重降低了性能。

### II-B FLTrust 算法

Cao 等人 [5] 认识到，仅仅依赖统计技术的鲁棒聚合方法仍然容易受到精心设计的攻击。因此，他们通过允许服务提供商引导信任来扩展先前的方法。通过建立服务提供商对每个本地更新信任程度的概念，服务提供商可以接受可信的更新，并拒绝或最小化不可信的更新。

他们通过为服务提供商构建一个小的（<100 个样本）根数据集来提供这种信任概念，这对于数据通常完全去中心化的 FL 来说是独特的。根数据集必须是非恶意的，并且能够代表客户端中看到的数据。

算法迭代的前两个步骤与典型的 FL 方法基本没有变化。首先，通过将服务提供商的全局模型 w 发送给参与本轮更新的客户端来同步模型。其次，客户端通过在设备上存在的本地数据上微调模型来生成本地更新 g_i。新颖的是，他们还基于精心构建的根数据集计算服务提供商的本地更新 g。

接下来，通过计算两个更新的余弦相似度，将每个客户端的本地更新 g_i 与 g 进行比较。更一致的更新（余弦相似度趋近于 1）被认为更可信，而一致性较低的更新（余弦相似度趋近于 -1）被认为不太可信。根据他们构建的聚合规则，即使信任分数为负的本地更新仍然会对全局模型有所贡献，尽管它们被认为非常不可信。因此，他们对信任分数进行 ReLU 裁剪，以确保不包括余弦相似度为负的更新。最后，他们将每个本地更新 g_i 归一化以匹配 g 的幅度，从而防御缩放攻击（恶意代理试图对全局模型产生不成比例的巨大影响 [1]）。然后，他们通过按比例加权每个更新 g_i（权重为其 ReLU 裁剪后的信任分数 TS_i）来聚合归一化的本地更新。

他们的防御模型成功抵御了 Krum 和 Trim 攻击等多种攻击，一些实验表明在某些情况下准确率没有下降，在其他情况下只有少量下降 [5]。然而，他们的防御依赖于一个削弱其实用性的强假设：FLTrust 假设每个客户端拥有的数据是相对独立同分布的 (iid)。

实际上，采用 FL 的应用通常具有非常异质的信息。例如，考虑在 Android GBoard [7] 上应用的 FL 下一词预测任务。它是在数十亿不同用户的语言数据上训练的，而这些用户的说话方式肯定不尽相同。

异构性给 FLTrust 带来了两个问题。首先，数据集的异构性可能导致其信任根不能充分代表所有客户端。如果我们有一个不具有代表性的根数据集，那么我们的信任分数将会很脆弱。由于聚合规则直接依赖于我们的信任分数，这会导致算法失效。例如，FLTrust 可能将更新视为不可信，即使它们并非恶意，只是因为数据的非独立同分布性质导致它们与根数据集的更新有足够大的差异。

其次，FL 中数据的非独立同分布本身就是一个问题。Reddie 等人描述了 FedAvg 在某些应用中遇到的三个主要问题 [17]。首先，它可能遭受“客户端漂移”，即本地更新开始偏离全局模型，因为它们朝向局部最优解移动。其次，该方法是非自适应的，无法适应客户端的变异性。

已经创建了几种方法来纠正这些情况。为了解决第一个问题，SCAFFOLD [9] 引入了客户端和服务器端的控制变量，在本地训练期间充当修正项，减少了由异构客户端数据引起的偏差，并缓解了客户端漂移。通过使本地更新更好地与全局目标保持一致，SCAFFOLD 提高了非 IID 设置下的收敛性。为了解决第二个问题，FedAdam [17] 用自适应优化方法替换了 FedAvg 的标准服务器端更新，使服务器能够更有效地适应各轮客户端更新的变异性。因此，这两种方法针对 FedAvg 在异构性下的互补弱点：SCAFFOLD 减少了本地优化中的漂移，而 FedAdam 提高了全局聚合的自适应性。然而，据我们所知，目前不存在既具有拜占庭鲁棒性又具有异构性校正能力的方法，而 FLTrust 在其技术中也没有做出任何努力来解决这些异构性问题。

因此，全局非独立同分布给 FLTrust 带来了重大问题，但在应用中却极为普遍。然而，我们认为一个更弱的假设可能更现实：尽管数据在全局上是异构的，但它们可以存在于局部同质的“族”中。例如，考虑 GBoard 的例子，假设它为美国所有英语使用者服务。那么，威斯康星州的人可能彼此说话方式非常相似，但与阿拉巴马州的人不同。我们的主要目标是利用局部同质性，在高度异构的环境中超越 FLTrust。

具体来说，在本文中，与基线方法 FLTrust 相比，我们主要有三个贡献：

- • 我们在多个雾节点上使用根数据集，而不是在全局服务器上只有一个，将信任分数本地化到更同质的客户端组，并在该级别使用本地计算的信任分数聚合更新。
- • 我们创建了一个分层结构来整合每个雾节点计算的更新，并将第二级聚合器替换为其他对客户端漂移更具鲁棒性的联邦学习聚合规则。
- • 我们在一个真实世界数据集（如 SnapshotSafari [13]）上测试了我们的方法与 FLTrust 的对比。

我们的代码可通过以下链接公开访问：https://github.com/emmanuel2406/FoggyTrust.git

参见图 2：使用 FedAvg 的 FoggyTrust 高层概述，其中阶段 i 在客户端和雾节点之间应用 FLTrust，阶段 ii 在雾节点的权重更新和全局服务器之间应用 FedAvg。

## III. FoggyTrust

我们提出 FoggyTrust，一种分层 FL 方法，它引导信任并在具有局部同质性的全局异构应用中表现良好。参见图 2 以获得直观概述。

FoggyTrust 以如下方式扩展了 FLTrust。服务提供商并非由单个全局服务器为所有客户端运行 FLTrust 算法，而是与雾节点通信。雾节点充当数据的本地服务提供商，我们假设这些数据是相对独立同分布的。沿用之前的例子，每个州可以有一个雾节点，假设该州的人们说话方式相对相似。我们为每个雾节点构建一个根数据集，假设它相对能够代表其客户端的数据。

因此，在算法的每次迭代中，客户端进行本地更新，并将其发送给各自的雾节点，而非全局服务器。每个雾节点使用 FLTrust 聚合客户端数据，以获得雾节点级别的本地更新。然后，每个雾节点的本地更新将其聚合后的更新发送给全局服务器。全局服务器随后使用一个聚合规则（例如 FedAvg [15]）来整合每个雾节点的更新。

使用 FedAvg 的 FoggyTrust 克服了服务器更新与每个客户端更新之间的异构性。由于每个局部组被认为是相对独立同分布的，每个雾节点的根数据集因此可以代表其内部的数据。这确保了信任分数是准确的，并且聚合规则在较低级别按预期执行。较高级别的聚合不计算信任分数，因此 FLTrust 级别所有与异构性相关的问题都由此方法解决。

我们还寻求解决异构性的第二个问题，在我们的实例中，这表现为雾节点之间的客户端漂移。尽管每个雾节点内部是相对独立同分布的，但局部区域在全局上仍然是异构的。因此，“客户端漂移”仍然是一个潜在问题。然而，我们的分层性质使我们能够利用现有专门针对异构性的聚合器来解决这个问题：SCAFFOLD [9] 通过控制变量来纠正有偏差的本地更新，从而缓解客户端漂移；而 FedAdam [17] 使用自适应服务器端优化来提高异构环境中的收敛性和准确性。因此，我们修改了第二级聚合机制，以更好地考虑异构性并提升性能。

据我们所知，FoggyTrust 是第一个专门针对异构应用的拜占庭鲁棒聚合方法。

## IV. 评估

### IV-A 实验设置

我们旨在测试三种新学习方法的鲁棒性和泛化能力：

1. FoggyTrust (FedAvg)：我们的基本 FoggyTrust 算法，在第二级使用 FedAvg [15] 进行聚合。
2. FoggyTrust (FedAdam)：在第二级使用 FedAdam [17] 进行聚合。
3. FoggyTrust (SCAFFOLD)：在第二级使用 SCAFFOLD [9] 进行聚合。

每个数据集的确切参数见表 I。

#### IV-A1 数据集

我们在四个难度不同的图像分类数据集上测试了我们的 FoggyTrust：MNIST、Fashion-MNIST、CIFAR-10 和 Snapshot Safari。我们的第一步是在主要作者之一的官方实现（https://minghongfang.com/）基础上复现 FLTrust [5] 的结果。

我们遵循先前的工作 [5] 将数据集划分到不同的客户端。对于各有 10 个标签类别的 MNIST、FashionMNIST 和 CIFAR-10，我们为每个客户端分配一个偏斜的标签分布。