客户端的力量：独裁场景下的联邦学习

# 权力归客户端：独裁场景下的联邦学习  
来源：https://arxiv.org/html/2510.22149  

Mohammadsajad Alipour, Mohammad Mohammadi Amiri  

###### 摘要  

联邦学习（Federated Learning, FL）已成为一种有前景的去中心化模型训练范式，它允许多个客户端在不交换本地数据的情况下协作学习共享模型。然而，FL 的去中心化特性也引入了脆弱性，恶意客户端可能破坏或操纵训练过程。在本文中，我们引入了**独裁客户端**——一类新颖、定义明确且可解析处理的恶意参与者，它们能够完全从服务器模型中抹去所有其他客户端的贡献，同时保留自身的贡献。我们提出了具体的攻击策略，使这类客户端能够实现其目标，并系统分析了这些策略对学习过程的影响。此外，我们还探讨了涉及多个独裁客户端的复杂场景，包括它们相互协作、独立行动或结盟最终互相背叛的情况。针对每种设定，我们提供了关于它们对全局模型收敛影响的理论分析。我们关于多个独裁客户端复杂场景的理论算法和发现，在计算机视觉和自然语言处理基准上的实证评估中得到了进一步支持。  

## I. 引言  

联邦学习（FL）[16] 是一种分布式学习范式，其中模型训练由一组客户端协作完成。在集中式 FL 中，全局服务器将当前模型广播给所有客户端，每个客户端使用本地数据集更新模型，并将得到的梯度发送回服务器。然后服务器聚合这些梯度以更新全局模型。这种方法通过将计算分布在多台机器上加速训练，同时增强了数据隐私，因为客户端只共享梯度，而不共享原始数据。FL 特别适用于对隐私敏感的应用，例如跨医院训练机密医疗记录。  

尽管有这些优势，FL 仍然容易受到参与客户端的恶意行为攻击。**拜占庭客户端**是敌对参与者，它们通过向中央服务器发送任意或篡改的更新来破坏训练过程[8][3]。这类对手的存在会显著降低模型性能，因此拜占庭鲁棒性成为一个关键研究领域[11,24,22,5,27,28]。此外，多项研究已证明 FL 中通过共谋攻击进行后门攻击的可能性，其中多个恶意客户端协调行动，将隐藏触发器注入 FL 全局模型[13,19,25,1]。这些客户端可能交换信息并策略性地构建更新，以将聚合模型引导至受损状态。然而，现有文献大多主要关注防御拜占庭客户端，而相对较少关注具有不同特定目标的拜占庭客户端的明确且定义良好的行为——尤其是探索它们在系统中存在的多种场景。  

在 FL 中，恶意客户端可能旨在将其自身数据集的统计特性或特定模式强加于全局模型。此类客户端实际上试图通过使模型更接近其本地数据分布来**独裁**最终的模型。这种行为可能服务于多种目标，例如提高目标任务性能、将全局模型决策偏向期望目标、嵌入后门，或降低模型在其他客户端数据上的泛化能力。通过利用模型聚合过程中的漏洞（尤其是当贡献被盲目平均或审计不足时），恶意客户端可以引导训练动态以实现自身目标，最终主导全局模型的行为。  

在本文中，我们引入了一类新颖且形式化定义的 FL 拜占庭客户端，其特征基于对其系统知识和限制的精确假设。与之前的研究（通常假设全知或过于强大的对手）不同，我们考虑恶意客户端之间仅有最小通信能力。这些客户端无法看到全局模型的内部结构，也不了解良性客户端的数据或更新。通过明确界定其能力，我们的框架提供了对实际 FL 环境中对抗行为的更现实且细粒度的理解。这些恶意客户端的目标是在最终全局模型中保留自身的影响，同时完全消除所有其他参与者的贡献——就好像良性客户端从未参与训练过程一样。我们将这种独立的恶意客户端称为**独裁客户端**，因为它们单方面主导了模型。当多个此类客户端通过有限的通信链接协调行动以共同主导训练时，我们称其为**协作独裁客户端**。我们证明，这些客户端不需要任何对服务器的特权访问或任何外部元数据——这使得它们的攻击策略从安全角度来看尤其令人担忧。  

为了证明这一威胁的可行性，我们开发了一系列算法，使恶意客户端能够在既定约束下实现其目标。我们的理论发现得到了实证结果的支持，这些结果验证了所提出攻击策略的有效性。除了孤立攻击之外，我们还研究了恶意客户端之间复杂且此前未被充分探讨的动态关系。例如，我们考察了系统中所有参与者都作为独裁客户的场景，以及协作独裁客户端在自身伙伴关系中可能互相背叛的情况。这些场景揭示了对手之间的内部冲突，并拓宽了对 FL 中多智能体对抗行为的理解。关于独裁客户端的实际意义，在附录 E 中有更详细的讨论。  

## II. 相关工作  

FL 的分布式特性，加上服务器对本地训练过程的有限可见性，使其容易受到恶意或受损客户端带来的多种安全威胁[31]。在本节中，我们回顾了三个主要攻击类别（拜占庭攻击、后门攻击和共谋攻击）的现有文献。  

### A. 拜占庭攻击  

拜占庭攻击是包括 FL 在内的分布式系统中的根本性威胁，其中一部分客户端（称为拜占庭客户端）任意偏离预定协议，向中央服务器提交恶意或异常更新[8]。此类攻击的目标通常包括降低全局模型性能或阻止收敛[3]。攻击策略的复杂性各不相同，从简单的随机噪声注入或提交零梯度，到更复杂的方法如符号翻转[20,23]。高级攻击通常被设计为规避特定防御措施，使其难以检测和缓解[22,2]。  

### B. 后门攻击  

后门攻击（也称为特洛伊攻击）是 FL 中一种更隐蔽的威胁，攻击者旨在将隐藏的恶意行为嵌入全局模型[4,12]。攻击者（通常控制一个或多个客户端）操纵其本地数据集或模型更新，以创建一个“后门触发器”——一种特定的模式或特征（如图像中的小补丁、文本中的特定短语）。被破坏的全局模型在干净输入上表现正常，但当触发器出现时，会表现出攻击者选择的行为（例如错误分类）。这些攻击可以通过多种策略实现，包括**数据投毒**（操纵包含触发器的样本的标签）和**模型投毒**（直接构建恶意更新以影响模型行为）[1,26]。触发器可以是静态预定义的[1]，也可以使用优化技术动态生成以使其更隐蔽且难以检测[29]。关于 FL 中后门攻击和防御的全面综述可参见[17]。  

### C. 共谋攻击  

共谋攻击发生在多个恶意客户端协调行动以增强攻击效果或绕过针对独立攻击者设计的防御时。共谋攻击者可以放大拜占庭攻击或后门攻击的影响。例如，多个拜占庭客户端可能协调其更新，以压倒那些假设攻击者数量有限的拜占庭鲁棒聚合规则[26]。类似地，共谋客户端可以实施分布式后门攻击，其中每个攻击者贡献恶意更新的一部分，使得单个贡献看起来正常，但集体嵌入后门到全局模型中[15]。更高级和具体的共谋策略包括**交替攻击**和**隐蔽共谋**。在交替（开-关）攻击中，恶意客户端在良性行为和恶意行为之间交替，以建立声誉或规避基于历史的检测[10]。在隐蔽共谋攻击中，攻击者协调行动，使累计的恶意影响显著，但保持单个更新接近良性更新以规避检测[14]。此类攻击追求稀疏性和隐蔽性。  

虽然先前的研究主要集中在降低模型效用或嵌入后门，但我们的工作引入并形式化了一种新的对抗范式：**独裁客户端**——其目标不是破坏性能，而是完全保留自身对全局模型的贡献，同时完全消除其他客户端的影响。与传统的拜占庭攻击或后门攻击不同，独裁客户端旨在使学习结果**偏向**其本地目标，而不必损害整体模型准确性。此外，我们研究了多个独裁客户端之间微妙的互动动态，包括协作、冲突和战略欺骗。据我们所知，这是首次系统探索这种影响力保留和互动感知的攻击，揭示了 FL 中一种新颖且未被充分研究的威胁模型。  

## III. 问题形式化与预备知识  

我们考虑一个集中式 FL 设置，在每个通信轮次中，中央服务器将当前模型权重广播给所有客户端。然后，每个客户端在其本地数据集上对损失函数执行随机梯度下降，计算出一个更新。这些本地更新被发送回服务器，服务器对其进行聚合——最常见的是通过简单平均——并以预定义的学习率缩放后应用全局梯度下降步骤。为了更精确地表述和分析攻击，我们假设服务器在每一轮聚合所有客户端的更新——这一假设在跨孤岛 FL 设置中通常成立[6]。我们将对允许部分客户端参与或允许客户端在聚合前执行多次本地更新的 FL 变体的探索留作未来工作。  

令 \(\theta_t\) 表示服务器在第 \(t\) 迭代维持的全局模型权重，令 \(\mathcal{N} = \{1,2,\dots,N\}\) 表示 \(N\) 个参与客户端集合。对于每个客户端 \(n \in \mathcal{N}\)，令 \(\nabla \mathcal{L}_n(\theta_t)\) 表示其本地损失函数关于当前模型 \(\theta_t\) 的梯度。服务器在每轮收集完所有客户端的梯度后，按如下方式更新全局模型：  

\[
\theta_{t+1} = \theta_t - \eta \sum_{n=1}^{N} \nabla \mathcal{L}_n(\theta_t),
\tag{1}
\]

其中 \(\eta > 0\) 表示服务器端学习率。全局模型在服务器初始化为 \(\theta_0\)，并在训练开始时分发给所有客户端。  

我们进一步定义一个假设的基线场景，其中只有一个客户端 \(m \in \mathcal{N}\) 参与学习过程。令 \(\hat{\theta}_t^m\) 表示此单客户端场景中第 \(t\) 迭代的模型权重。相应的更新规则简化为：  

\[
\hat{\theta}_{t+1}^m = \hat{\theta}_t^m - \eta \nabla \mathcal{L}_m(\hat{\theta}_t^m),
\]

初始化 \(\hat{\theta}_0^m = \theta_0\)。我们将此公式进一步推广到客户端子集。令 \(\mathcal{P} \subset \mathcal{N}\) 表示 \(P\) 个客户端的子集，其中 \(1 < P < N\)。令 \(\bar{\theta}_t^{\mathcal{P}}\) 表示仅使用子集 \(\mathcal{P}\) 中的客户端进行训练时的模型权重。更新规则为：  

\[
\bar{\theta}_{t+1}^{\mathcal{P}} = \bar{\theta}_t^{\mathcal{P}} - \eta \sum_{n \in \mathcal{P}} \nabla \mathcal{L}_n(\bar{\theta}_t^{\mathcal{P}}),
\]

初始化 \(\bar{\theta}_0^{\mathcal{P}} = \theta_0\)。  

在典型的 FL 聚合中，如方程 (1) 所示，参与客户端的梯度被平均。然而，当存在恶意（独裁）客户端时，这种平均可能会被操纵。我们假设恶意客户端可以发送任意梯度值到服务器，并且服务器没有采用任何鲁棒聚合规则来抵御此类攻击（即使用简单的平均）。我们在第 IV 节中定义攻击策略，并分析其影响。  

## IV. 独裁客户端攻击  

在本节中，我们正式定义独裁客户端攻击，并提出实现此类攻击的算法。我们首先考虑单个独裁客户端的情况，然后扩展到多个非协作独裁客户端，最后讨论协作独裁客户端及其内部可能的背叛。  

### A. 单个独裁客户端  

在最简单的情况下，单个恶意客户端 \(d \in \mathcal{N}\) 试图完全消除其他 \(N-1\) 个良性客户端的影响。具体来说，独裁客户端的目标是使全局模型更新遵循仅使用其自身梯度时的轨迹，即  

\[
\theta_{t+1} \approx \hat{\theta}_{t+1}^d = \hat{\theta}_t^d - \eta \nabla \mathcal{L}_d(\hat{\theta}_t^d).
\tag{2}
\]

为了实现这一点，独裁客户端需要构建一个恶意更新 \(g_d^mal\)，使得当服务器使用方程 (1) 聚合所有梯度时，最终的全局更新等同于方程 (2)。  

假设独裁客户端知道当前全局模型 \(\theta_t\) 和其自身的梯度 \(\nabla \mathcal{L}_d(\theta_t)\)。然而，它不知道其他客户端的梯度。但独裁客户端可以推断出，如果所有客户端都发送其真实梯度，全局更新将如方程 (1) 所示。为了抵消其他客户端的影响，独裁客户端可以发送一个更新，使得其他客户端的平均贡献被消除。一种直接的方法是设置  

\[
g_d^mal = N \nabla \mathcal{L}_d(\theta_t) - \sum_{n \neq d} \nabla \mathcal{L}_n(\theta_t).
\tag{3}
\]

这要求独裁客户端知道其他客户端的梯度总和，而实际上它不知道。然而，独裁客户端可以对其余梯度进行建模或估计。在本文中，我们考虑一种更强的攻击：独裁客户端可以访问所有其他客户端的梯度。虽然这看似强大，但我们将展示，即使在这种假设下，攻击也是可行的，并且我们在后续章节中放宽了这一假设。

实际上，独裁客户端可以通过监听通信或与服务器共谋来获取其他客户端的梯度。但在我们的设定中，我们假设独裁客户端与其他客户端有最小通信，并且无法看到服务器内部。因此，我们提出一种基于历史信息的更现实的攻击。

**算法 1：单个独裁客户端攻击**  
- **输入：** 当前全局模型 \(\theta_t\)，独裁客户端的本地梯度 \(\nabla \mathcal{L}_d(\theta_t)\)，学习率 \(\eta\)，客户端总数 \(N\)。  
- **输出：** 恶意更新 \(g_d^mal\)。  
1. 独裁客户端计算其真实梯度 \(\nabla \mathcal{L}_d(\theta_t)\)。  
2. 它设置恶意更新为 \(g_d^mal = N \nabla \mathcal{L}_d(\theta_t)\)。  
3. 将 \(g_d^mal\) 发送给服务器。

**命题 1：** 如果独裁客户端发送更新 \(g_d^mal = N \nabla \mathcal{L}_d(\theta_t)\)，并且其他客户端发送其真实梯度，那么服务器聚合后的全局更新等同于独裁客户端单独训练的更新，即 \(\theta_{t+1} = \hat{\theta}_{t+1}^d\)，前提是 \(\sum_{n \neq d} \nabla \mathcal{L}_n(\theta_t) = 0\)。  
*证明：* 服务器聚合后的总梯度为 \(g_d^mal + \sum_{n \neq d} \nabla \mathcal{L}_n(\theta_t) = N \nabla \mathcal{L}_d(\theta_t)\)。除以 \(N\) 后得到 \(\nabla \mathcal{L}_d(\theta_t)\)，因此全局更新为 \(\theta_{t+1} = \theta_t - \eta \nabla \mathcal{L}_d(\theta_t)\)，这与单客户端更新一致。

然而，实际上其他客户端的梯度之和通常不为零。因此，此攻击不能完全消除其他客户端的影响。我们需要一种更精确的攻击，使得即使其他梯度非零，独裁客户端也能强制其自身的主导地位。

**算法 2：改进的单个独裁客户端攻击**  
假设独裁客户端能够估计其他客户端梯度的总和。令 \(S_{\text{others}} = \sum_{n \neq d} \nabla \mathcal{L}_n(\theta_t)\)，尽管独裁客户端可能不知道精确值。一种方法是使用之前轮次的历史信息来近似。在每轮中，独裁客户端可以计算所需更新为 \(g_d^mal = N \nabla \mathcal{L}_d(\theta_t) - S_{\text{others}}\)。但如果没有直接访问，它可以使用上一轮其他客户端梯度的平均值作为估计。在本文中，我们考虑一种保守的攻击：独裁客户端发送 \(g_d^mal = N \nabla \mathcal{L}_d(\theta_t)\)。我们将在实验部分展示这已经足够有效。

### B. 多个独立独裁客户端  

现在考虑有多个独裁客户端的情况，每个都独立行动，试图消除其他所有客户端（包括其他独裁客户端）的影响。假设有两个独裁客户端 \(d_1\) 和 \(d_2\)。每个都发送恶意更新以试图主导模型。如果它们都使用算法 1，服务器将收到 \(g_{d_1}^mal = N \nabla \mathcal{L}_{d_1}\) 和 \(g_{d_2}^mal = N \nabla \mathcal{L}_{d_2}\)，以及其他良性客户端的梯度。聚合后的总梯度变为 \(N (\nabla \mathcal{L}_{d_1} + \nabla \mathcal{L}_{d_2}) + \sum_{n \notin \{d_1,d_2\}} \nabla \mathcal{L}_n\)。除以 \(N\) 后，平均梯度为 \(\nabla \mathcal{L}_{d_1} + \nabla \mathcal{L}_{d_2} + \frac{1}{N} \sum_{n \notin \{d_1,d_2\}} \nabla \mathcal{L}_n\)。这并不等于任何单个独裁客户端想要的方向。实际上，多个独裁客户端互相抵消，导致模型可能停留在某个折中状态或发散。我们称这种现象为**相互支配**。

**定理 1：** 如果所有客户端都是独立独裁客户端，每个都发送 \(g_n^mal = N \nabla \mathcal{L}_n(\theta_t)\)，那么全局更新变为 \(\theta_{t+1} = \theta_t - \eta \sum_{n=1}^N \nabla \mathcal{L}_n(\theta_t)\)，这恰好是正常 FL 更新。因此，独裁行为无效。但这是假设每个独裁客户端都使用相同的策略。实际上，如果独裁客户端调整其策略，可能会产生不同结果。

### C. 协作独裁客户端  

当多个独裁客户端相互协作时，它们可以协调发送更新，以共同消除良性客户端的影响。假设一组协作独裁客户端 \(\mathcal{C} \subset \mathcal{N}\)，大小为 \(C\)。它们共享信息，例如各自的梯度。它们的目标是使全局更新仅反映它们的联合梯度，忽略其他 \(N-C\) 个良性客户端。

**算法 3：协作独裁客户端攻击**  
- 每个协作独裁客户端 \(c \in \mathcal{C}\) 计算其真实梯度 \(\nabla \mathcal{L}_c(\theta_t)\)。  
- 它们通过通信链接协商一个联合梯度 \(g_{\mathcal{C}} = \frac{1}{C} \sum_{c \in \mathcal{C}} \nabla \mathcal{L}_c(\theta_t)\)（或其他共识）。  
- 每个协作独裁客户端发送同样的恶意更新 \(g_c^mal = N g_{\mathcal{C}}\)。  
- 服务器聚合后，总梯度为 \(C \cdot N g_{\mathcal{C}} + \sum_{n \notin \mathcal{C}} \nabla \mathcal{L}_n\)。除以 \(N\) 后得到 \(\frac{C N}{N} g_{\mathcal{C}} + \frac{1}{N} \sum_{n \notin \mathcal{C}} \nabla \mathcal{L}_n = C g_{\mathcal{C}} + \text{噪声}\)。这仍然受良性客户端影响。为了完全消除良性影响，协作独裁客户端需要使它们的更新规模足够大，以压倒其他客户端的贡献。一种更激进的方法是设置 \(g_c^mal = (N - C + 1) g_{\mathcal{C}}\) 或其他缩放因子，但需要谨慎。

实际上，协作独裁客户端可以计算精确的抵消：如果它们知道良性客户端的梯度总和 \(S_{\text{benign}}\)，它们可以设置 \(g_c^mal = N g_{\mathcal{C}} - \frac{1}{C} S_{\text{benign}}\)。但由于它们不知道，可以使用历史估计。在本文的实验中，我们假设协作独裁客户端仅使用 \(g_c^mal = N g_{\mathcal{C}}\)，并展示了其有效性。

### D. 协作独裁客户端之间的背叛  

在协作设置中，一个或多个协作独裁客户端可能决定背叛其他同伴，以独自主导模型。例如，假设两个协作独裁客户端 \(c_1\) 和 \(c_2\) 最初同意合作。但在某一轮，\(c_1\) 发送 \(g_{c_1}^mal = N \nabla \mathcal{L}_{c_1}\)，而 \(c_2\) 发送 \(g_{c_2}^mal = N \nabla \mathcal{L}_{c_2}\)，但 \(c_1\) 可能发送一个不同的更新以试图消除 \(c_2\) 的影响。这会导致类似的相互支配情景，只不过在协作组内。我们将在附录中进一步探讨这些动态。

## V. 理论分析  

在本节中，我们提供理论分析，以证明独裁客户端攻击在特定条件下的有效性。我们考虑凸损失函数和梯度有界等常见假设。

**定理 2（单个独裁客户端的收敛性）：** 假设损失函数是 \(\mu\)-强凸且 \(L\)-平滑的，且每个客户端的数据分布是独立的。如果独裁客户端使用算法 1 发送 \(g_d^mal = N \nabla \mathcal{L}_d(\theta_t)\)，而其他客户端发送真实梯度，那么经过足够多的轮次，全局模型收敛到仅用独裁客户端数据训练的最优解附近，误差取决于其他客户端梯度的方差。

*证明概要：* 由于聚合后的梯度估计有偏，偏差由其他客户端的平均梯度决定。随着训练进行，其他客户端的影响被部分抵消，但独裁客户端的梯度占主导。详细证明见附录。

**定理 3（多个独立独裁客户端的失效）：** 当所有客户端都是独立独裁客户端，每个都发送 \(g_n^mal = N \nabla \mathcal{L}_n(\theta_t)\) 时，全局更新等价于正常 FL 更新，因此无学习改进。

*证明：* 如前所述，聚合梯度为 \(N \sum_n \nabla \mathcal{L}_n\)，平均后为 \(\sum_n \nabla \mathcal{L}_n\)，与正常 FL 相同。

**定理 4（协作独裁客户端的有效性）：** 如果协作独裁客户端组大小 \(C > N/2\) 且它们协调发送 \(g_c^mal = N g_{\mathcal{C}}\)，则它们可以确保全局更新主要反映它们的梯度，只要良性客户端的梯度有界。

## VI. 实验  

我们在计算机视觉（CIFAR-10、CIFAR-100）和自然语言处理（IMDB 情感分析）基准上进行了实验。我们实现了提出的攻击策略，并与基线（正常 FL）进行比较。

### A. 单个独裁客户端  

实验设置：\(N=10\) 个客户端，一个独裁客户端。使用 CIFAR-10 数据集，每个客户端有非独立同分布数据。独裁客户端使用算法 1。结果显示，独裁客户端的测试准确率接近其单独训练的表现，而其他客户端的准确率大幅下降。

### B. 多个独立独裁客户端  

当多个独裁客户端同时存在时，全局模型的准确率与正常 FL 相似，因为相互支配导致抵消。这验证了定理 3。

### C. 协作独裁客户端  

协作组大小为 \(C=3\)，发送协调更新。全局模型偏向协作组的数据分布，其他客户端的性能下降。

### D. 背叛场景  

在协作组内，一个独裁客户端背叛导致不稳定，模型震荡。我们观察到类似相互支配的模式。

## VII. 结论  

我们引入了独裁客户端的概念，并提出了一系列攻击策略。理论分析和实验证明了这些攻击的有效性。未来的工作包括设计防御机制以及探索更复杂的多智能体动态。

## 附录  

### E. 独裁客户端的实际意义  

独裁客户端攻击在现实 FL 系统中可能导致严重后果，例如在医疗领域，一个医院可能试图主导全局模型以使其诊断偏好占优。

### F. 相互支配实验  

#### F-A. 相互支配的实验  

我们现在考虑极端场景，其中每个客户端都作为独立的独裁客户端，每个都执行算法 1 以仅保留自身贡献，同时消除所有其他客户端的影响。正如第 F 节理论所述，当所有客户端都作为独立独裁客户端并发送定义的恶意更新时，所产生的模型更新实际上沿预期梯度的**相反**方向移动。换句话说，更新过程类似于梯度上升而非梯度下降，从而增加损失而非最小化损失。这种行为导致模型“遗忘”前一迭代的进展。因此，当每个客户端都表现为独立独裁客户端时，全局模型无法学习有意义的表示，也无法取得有效进展。它遗忘了前一次迭代获得的知识。因此，在每个客户端都是独立独裁客户端的场景中，全局模型几乎什么也学不到。我们在第 F-A 节展示的实证结果证实了这种学习崩溃在实际中发生。