重新思考联邦学习中可转移对抗攻击与鲁棒防御

# 重新思考联邦学习中的可迁移对抗攻击与鲁棒防御
来源: https://arxiv.org/html/2608.25133

Deval Mukherjee 单位：内华达大学拉斯维加斯分校，美国内华达州拉斯维加斯，[email protected]
Homook Cho 单位：韩国科学技术院网络安全研究中心，韩国大田，[email protected]
Wei Li 单位：佐治亚州立大学，美国佐治亚州亚特兰大，[email protected]
Zuobin Xiong¹, Deval Mukherjee¹, Homook Cho² 和 Wei Li³
单位：¹内华达大学拉斯维加斯分校计算机科学系，美国拉斯维加斯；²韩国科学技术院网络安全研究中心，韩国大田；³佐治亚州立大学计算机科学系，美国佐治亚州亚特兰大
¹[email protected], [email protected]; ²[email protected]; ³[email protected]

###### 摘要

联邦学习（FL）技术的发展有助于增强用户数据的隐私保护，并扩展了机器学习模型的应用范围。然而，大量用户参与FL也为不同类型的攻击者创造了机会，例如投毒攻击、拜占庭攻击和对抗样本攻击。然而，近期研究揭示，由于强假设（例如，客户端选择率、恶意攻击者比例）的存在，现有的投毒攻击和拜占庭攻击在现实FL场景中无法达到令人满意的渗透效果。本文分析了不同客户端模型间对抗样本的可迁移性，旨在理解对抗样本与客户端数据分布之间的关系。此外，为缓解可迁移对抗样本的攻击，我们基于对抗训练产生的模型鲁棒性可迁移性，设计了一种防御机制。通过对可迁移性的理论分析，我们深入了解了对抗样本以及联邦学习系统的脆弱性。我们提出的对抗攻击和防御方法在各种设置下通过真实数据集进行了评估，结果显示其性能优于现有最先进的方法。

###### 索引术语：

联邦学习，对抗样本，模型鲁棒性，安全与隐私

## I 引言

联邦学习（FL）[1] 已成为一个极具吸引力的分布式机器学习框架，多个私有数据所有者（例如客户端）在中央组织者（即服务提供商）处协作训练机器学习模型，而无需共享其私有数据。具体而言，每个参与的客户端私密地执行本地更新，并以迭代方式将更新的参数发送给服务提供商进行聚合。得益于这些特点，FL已被一系列现实世界中的流行应用广泛采用，例如Google Gboard的下一个词语预测模型[2]、Apple的Siri语音识别模型[3]以及不同金融机构的信用信息分析模型[4]。为了处理多样化的现实世界应用，尽管存在许多FL模型的变体，基于联邦平均（FedAvg）[1]的原始版本因其简洁的系统设计和出色的可扩展性仍然是最广泛采用的范式。然而，“FedAvg”并未充分理解多样环境中系统异构性和统计异构性带来的底层挑战，在实践中客户端具有不同的计算能力且数据分布高度倾斜、非独立同分布。从FedAvg扩展而来的个性化解决方案“FedProx”[5]旨在保留FedAvg的优点，同时解决系统和数据异质性的挑战。在这两种算法中，主要关注点是在大规模FL中提高模型性能，但它们忽略了背后的诸多安全问题。

由于协作参与者（例如Android/iPhone用户和不同组织）是相互不信任的客户端，许多潜在攻击可能损害FL中的系统安全性。因此，即使遵循共同系统要求，任何客户端也可能执行恶意操作或作为诚实但好奇的客户端。结果，FL中的对抗性攻击111在本文中，我们主要研究对抗性攻击。我们承认隐私推断是FL中的另一个重要问题，但这超出了本工作的范围。可分为三个分支：(i) 投毒攻击（包括后门攻击）[6, 7, 8]，旨在导致模型在投毒模型或投毒数据上的性能下降；(ii) 拜占庭攻击[9, 10]，诱使FL训练收敛到“次优乃至完全无效的模型”；以及(iii) 逃逸攻击[11, 12, 13]，攻击者试图用精心制作的对抗输入样本来破坏模型的完整性。现有文献已深入研究了(i)和(ii)中关于这些攻击及其相应防御的各种方法，但它们做出了一些在实际FL应用中难以满足的不切实际的假设。例如，在关于投毒攻击[7, 6, 14]和防御[15, 16, 17]的相关工作中，作者假设攻击方最多只能攻陷10%到25%的所有FL客户端，这意味着攻击者可能需要控制像拥有数十亿用户基数的Google Gboard这样的真实应用中的超过一千万用户[18]。另一方面，对于拜占庭攻击和防御，诸如FL系统中的独立同分布数据[19, 20]、服务器上的干净数据集[21, 22]以及FL客户端的总数[23, 24]等不同的假设被要求用于发起攻击或防御，这在实际应用中几乎无法实现。此外，在Shejwalkar等人[25]的近期论文中，作者通过分析和评估对现有FL攻击进行了全面回顾，结论是：即使在没有任何鲁棒防御机制的情况下，大多数投毒攻击和拜占庭攻击在规模化的FL设置中也未能实现所声称的攻击性能。

这些不切实际的假设和实验发现因此激励我们探索一种更可操作的攻击——逃逸攻击，其要求攻击者知识最少化且威胁模型实用。在本文中，我们重新审视现实FL设置中的逃逸攻击，提供关于理论攻击性能和针对该攻击的鲁棒防御的研究发现。具体而言，考虑到现实世界应用中的适用性和可行性，“FedProx”范式被选为分析的代表性基础案例。基于此，在“FedProx” FL系统中探索和重新思考对抗样本及其可迁移性之间的关系是我们的主要目标。我们的理论结果很有希望，我们发现FL系统中对抗样本的可迁移性可以被恶意客户端的本地私有数据分布所利用。除此之外，我们提出了一种高效且鲁棒的防御机制来防御FL系统中的对抗样本。

总而言之，这项工作做出了以下贡献：
- • 我们研究了现实场景下FL中的逃逸攻击。据我们所知，这是首个通过理论方式分析FL中对抗样本可迁移性的工作。
- • 我们设计了一个鲁棒的联邦学习防御框架来对抗对抗样本攻击，该框架兼具效率和优越性能。
- • 在流行的FL数据集上进行了大量实验，反映了我们关于对抗样本可迁移性的理论分析，并验证了我们鲁棒防御方法的防御性能。

本文的其余部分组织如下。第二节[II]介绍了对抗性攻击和防御的相关工作。然后，第三节[III]制定了系统设置和威胁模型，接着第四节[IV]分析了攻击的可迁移性。接下来，第五节[V]提出了鲁棒防御机制，并在第六节[VI]中进行了攻防场景下的广泛评估。最后，第七节[VII]对本文进行了总结。

## II 相关工作

### II-A FL中的对抗性攻击

在FL中，对抗性攻击可能源自客户端、中央服务器或通信通道。本文关注客户端作为攻击源。作为参与训练阶段的内部客户端，客户端可以在训练和推理阶段发起影响模型性能的因果攻击。在训练阶段，恶意参与者可以通过提交有毒数据或在训练期间篡改模型更新来发起投毒和后门攻击，从而扭曲模型的预测[6, 7, 8]。相反，逃逸攻击[11, 13]可以在推理阶段通过制作对抗性输入作为测试数据来操纵模型的预测。对抗性攻击的目标也可能是客户端的隐私信息，攻击者可以使用基于学习的方法利用基于梯度的数据重建私有客户端数据或提取标签信息[26, 27]。

对抗性攻击在FL中的影响可能各不相同。对于以效用为中心的攻击，其影响以攻击后模型测试准确性的降低来衡量，通常量化为准确性下降作为攻击成功率。对于以隐私为中心的攻击，攻击者旨在执行成员/标签推断或模型反转，其影响可以有不同的度量，如均方误差（MSE）、峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似性（LPIPS）。在本工作中，我们主要关注FL中具有理论分析的逃逸攻击，据我们所知，这在以前的工作中尚未得到研究。

### II-B FL中的鲁棒防御

为了应对FL中的对抗性攻击，已经提出了各种机制来构建安全且鲁棒的FL系统。在本节中，我们仅列举那些在增强鲁棒性方面的代表性工作，而省略与隐私保护相关的技术，因为它们与我们的工作相关。PruneFL[28]和网络剪枝[29]是基于剪枝的防御方法的例子，其中剪枝算法可在聚合或本地更新期间应用于移除投毒攻击产生的恶意参数。拜占庭鲁棒聚合方法[30, 9, 10]通常在服务器端实现，用于过滤恶意更新并确保只有有效的更新被用于模型。正则化也是一种适用于FL服务器端和客户端的防御策略，用于防御数据投毒和模型投毒攻击[31]。具体来说，在客户端，参与者在模型训练期间采用正则化技术，如dropout、批归一化或权重衰减（LSR[32], ConTre[33]），这有助于对抗过拟合并贡献于整体FL鲁棒性。这些方法主要用于解决投毒攻击，但本文研究的问题是逃逸攻击。迄今为止，只有对抗训练是防御逃逸攻击的有效策略，其最新成果是联邦对抗训练（FAT）[34]。

然而，对抗训练框架只能针对训练数据集中呈现的已知攻击有效，且计算成本高。在本地客户端以高效机制防御逃逸攻击仍是一个开放挑战，这激励了我们在第[V]节提出基于矩阵分解的方法。

## III 系统设置与威胁模型

### III-A 系统设置

我们的系统设置采用自[5]，其中作者设计了“FedProx”来处理系统异构性（例如，由计算能力和网络连接引起的滞后）和统计异构性（例如，由高度非独立同分布数据引起的不同局部最优）。具体而言，FedProx系统由一个中心服务器和K个客户端组成。每个本地客户端k∈{1, 2, ..., K}持有一个本地数据集D_k = {(x_i, y_i)}_{i=1}^{n_k}，并执行本地训练算法以最小化目标函数F_k(w; w^t)，其定义如下：

F_k(w; w^t) = (1 / n_k) * Σ_{i=1}^{n_k} [l(f(w; x_i), y_i)] + (μ / 2) ||w - w^t||², (1)

其中第一项是模型参数w在本地数据集D_k上的损失值，第二项中的w^t是第t轮服务器聚合输出的全局模型参数。客户端k本轮优化的模型参数定义为w_k^{t+1} := min_w F_k(w; w^t)。此后，更新的聚合模型w^{t+1}在服务器上通过加权平均构建，如公式(2)所示：

w^{t+1} = Σ_{k=1}^{K} p_k * w_k^{t+1}, (2)

其中p_k ≥ 0 且 Σ_k p_k = 1。通常，p_k被设置为p_k = n_k / n，其中n = Σ_k n_k是FL系统中的数据点总数。基于本地目标函数和聚合规则，联邦优化目标为...