绕过Krum：联邦学习中的选择感知后门攻击

# 联邦学习中的选择感知后门攻击

本工作已被2026年国际智能多媒体、网络与安全会议（IMNS 2026）接收并在会上展示。来源：https://arxiv.org/html/2608.06637

###### 摘要
鲁棒聚合方法被广泛用于联邦学习，以减轻对抗性客户端行为的影响。基于距离的聚合规则（如Krum和Multi-Krum）假设良性更新形成一个紧凑簇，从而选择最接近多数派的更新。然而，这些方法依赖于可被自适应对手利用的几何特性。我们提出了Krum-Proxy攻击，这是一种选择感知的后门注入策略，能够持续绕过拜占庭鲁棒聚合。我们的方法不依赖朴素的缩放或约束，而是主动优化恶意更新，使其渗入良性分布的密集核心。所提出的方法构造的对抗性更新不仅与良性更新相似，而且经过优化，能够位于聚合过程中受青睐的更新空间区域。这是通过一个两阶段优化过程实现的，该过程将特定任务攻击目标与几何感知精炼分离，使用最近邻代理、随机参考建模和锚点引导对齐。为了保持隐蔽性，我们引入了一种投影机制，将对抗性更新限制在现实的范数和方差范围内。在标准联邦学习基准上的实验表明，Krum-Proxy在保持干净精度的同时实现了更高的攻击成功率，凸显了基于距离的聚合对选择感知对手的脆弱性。

## I 引言
联邦学习（FL）能够在保护数据隐私的同时，跨去中心化数据源实现协作模型训练[11 (https://arxiv.org/html/2608.06637#bib.bib11)]。然而，服务器依赖客户端提供的更新，且无法直接访问本地数据，因此容易受到对抗性操纵。模型投毒和后门攻击是FL中最关键的威胁之一，恶意客户端通过注入精心构造的更新来操纵全局模型，同时保持良性外观[3 (https://arxiv.org/html/2608.06637#bib.bib3)]。这些攻击可以嵌入仅在特定输入下触发的目标行为，使其难以被检测。为了缓解此类威胁，人们提出了Krum和Multi-Krum等拜占庭弹性方法[1 (https://arxiv.org/html/2608.06637#bib.bib1)]。这些方法基于成对距离选择最接近多数派的更新，假设良性更新形成一个紧凑簇。尽管具有理论保证，基于Krum的防御仍易受到自适应对手的攻击。先前的工作表明，恶意更新可以被构造为模仿良性更新的统计特性，从而绕过基于距离的过滤[4 (https://arxiv.org/html/2608.06637#bib.bib4),5 (https://arxiv.org/html/2608.06637#bib.bib5)]。由于Krum依赖整个模型更新上的单个标量距离，它无法捕捉跨层的结构化偏差[2 (https://arxiv.org/html/2608.06637#bib.bib2),4 (https://arxiv.org/html/2608.06637#bib.bib4)]，从而使对抗信号得以隐藏。

我们的工作与先前的Krum感知和基于优化的攻击[5 (https://arxiv.org/html/2608.06637#bib.bib5),15 (https://arxiv.org/html/2608.06637#bib.bib15),16 (https://arxiv.org/html/2608.06637#bib.bib16)]不同之处在于，我们减少了攻击者对实时良性更新的依赖，同时仍然明确针对Krum式聚合所用的几何特性。该攻击使用攻击者本地的随机参考来近似良性更新结构，优化Krum邻域分数的可微代理，并通过两阶段调度将后门注入与几何塑造分离。我们的贡献如下。

- • 针对Krum聚合的选择感知攻击公式：我们提出**Krum-Proxy**，一种明确针对Krum选择规则进行优化的定向后门攻击，而非仅依赖范数匹配、缩放或方向约束。该攻击使用从攻击者本地参考更新构造的Krum评分的可微近似。
- • 随机参考构建：我们引入了一种随机参考建模策略，使用攻击者训练的不同训练条件下的干净增量来近似良性更新几何。这捕捉了良性的变异性，并使得无需访问真实客户端更新即可在本地估计用于Krum评分的邻域结构。
- • 两阶段优化：我们开发了一个两阶段优化过程，将(i)使用交叉熵损失的后门注入与(ii)通过范数匹配、代理距离和锚点损失以降低学习率进行的几何塑造分开。这种解耦防止竞争目标干扰早期后门收敛，并在第二阶段实现稳定的选择感知精炼。
- • 锚点引导对齐与投影：我们引入了一种锚点引导对齐和投影机制，在通过受控的范数和方向约束保留后门信号的同时，将对抗性更新引向高密度良性区域。
- • 全面的实证验证：实验表明，与基于缩放以及约束和缩放基线相比，Krum-Proxy实现了更高且更稳定的攻击成功率，同时保持了有竞争力的干净精度。我们还报告了恶意选择率和包含率，直接验证了该攻击提高了聚合层面的规避能力。

## II 相关工作
标准的FL聚合方法FedAvg效率高，但极易受到对抗性操纵，因为恶意客户端可以任意影响全局模型[3 (https://arxiv.org/html/2608.06637#bib.bib3)]。为了解决这个问题，人们提出了Krum和Multi-Krum等拜占庭鲁棒聚合规则，它们基于成对距离选择最接近多数派的更新[1 (https://arxiv.org/html/2608.06637#bib.bib1)]。然而，先前的工作表明，基于距离的聚合在异质和高维设置下性能会下降，从而在实践中削弱其鲁棒性保证[2 (https://arxiv.org/html/2608.06637#bib.bib2),9 (https://arxiv.org/html/2608.06637#bib.bib9),10 (https://arxiv.org/html/2608.06637#bib.bib10)]。替代聚合方法试图缓解这些问题，但仍依赖于对手可以利用的假设[13 (https://arxiv.org/html/2608.06637#bib.bib13),14 (https://arxiv.org/html/2608.06637#bib.bib14)]。

模型投毒攻击通过在训练过程中直接操纵客户端更新来利用这一漏洞。早期工作表明，即使控制能力有限，对手也能诱导目标错误行为或降低模型性能[7 (https://arxiv.org/html/2608.06637#bib.bib7),15 (https://arxiv.org/html/2608.06637#bib.bib15)]。后门攻击通过嵌入仅在特定输入下触发的恶意行为进一步增强了隐蔽性。Bagdasaryan等人[3 (https://arxiv.org/html/2608.06637#bib.bib3)]引入了约束与缩放攻击，通过范数和方向约束联合优化攻击成功率和隐蔽性。后续工作表明，此类攻击可以跨轮次持续存在，并在部分参与的情况下仍然有效[8 (https://arxiv.org/html/2608.06637#bib.bib8),17 (https://arxiv.org/html/2608.06637#bib.bib17)]。分布式攻击（如DBA[6 (https://arxiv.org/html/2608.06637#bib.bib6)]）通过将攻击分散到多个客户端进一步提高了鲁棒性。在此基础上，Baruch等人[4 (https://arxiv.org/html/2608.06637#bib.bib4)]证明，微小但精心对齐的扰动可以通过利用良性方差来绕过防御。Fang等人[5 (https://arxiv.org/html/2608.06637#bib.bib5)]提出了明确针对Krum等聚合规则的本地投毒攻击。Shejwalkar和Houmansadr[16 (https://arxiv.org/html/2608.06637#bib.bib16)]进一步将投毒形式化为优化问题，使攻击者能够系统地适应防御机制。

Krum-Proxy在访问假设和优化结构上都与这些聚合感知攻击不同。Fang等人[5 (https://arxiv.org/html/2608.06637#bib.bib5)]直接针对拜占庭鲁棒聚合，但在针对聚合规则进行优化时依赖于更新群体的知识。Shejwalkar等人[16 (https://arxiv.org/html/2608.06637#bib.bib16)]通过MinMax和MinSum目标提出防御感知投毒，但这些目标施加的是全局距离约束，而不是Krum最近邻选择的局部代理。相比之下，Krum-Proxy构建攻击者本地随机参考，从其内部邻域推导出可微的代理Krum分数，并在单独的后门注入阶段之后应用它。

## III 提出的方法：选择感知的两阶段Krum-Proxy攻击
我们提出了一种几何感知的模型投毒攻击，明确针对Krum和Multi-Krum的选择机制。该攻击由三个部分组成：(i)随机参考构建，(ii)两阶段对抗优化，以及(iii)基于投影的隐蔽性执行。

### III-A 威胁模型
我们假设一个灰盒对手控制N个客户端中的f个（f < N/2），并且可以访问聚合规则（例如Krum或Multi-Krum）以及服务器在每轮通信时广播的全局模型w_t。对手不能访问其他客户端的本地数据或更新。对手的目标是使全局模型在后门触发模式下产生目标错误行为，同时在良性输入上保持正常性能。

### III-B 问题设置
令w_t表示第t轮的全局模型，Δ_i = w_i - w_t表示客户端i的本地更新。Krum选择使其到k个最近邻的平均平方距离最小的更新：
score(Δ_i) = 1/k ∑_{j∈N_k(i)} ‖Δ_i - Δ_j‖^2  (1)
Multi-Krum选择分数最低的m个更新并对其求平均。对手寻求一个更新Δ_adv，既能保持后门的有效性，又能最小化该分数，从而最大化被选择概率。

### III-C 随机参考构建
对手通过从其可访问数据的互不相交分区出发，从w_t开始训练R个干净模型，构建参考集{Δ_r}_{r=1}^R。为了捕捉良性异质性，每个参考使用独立采样的学习率η_r ~ U[η_min, η_max]和本地轮数E_r ~ U{E_min, ..., E_max}。该集合每轮重建，以跟踪不断演化的全局模型权重w_t。由此我们推导出质心Δ̄_ref、离散度σ_ref = std_r ‖Δ_r - Δ̄_ref‖以及中位数范数‖Δ‖_med = median_r ‖Δ_r‖，所有这些都用于后续阶段。训练锚点一次构建为Δ_anchor = 0.85Δ_(1) + 0.15Δ_(2)，其中Δ_(1)、Δ_(2)是参考集上自身Krum分数最低的两个参考。我们使用混合锚点，而不是严格遵循单一最优参考Δ_(1)。0.85/0.15的混合使锚点接近最低分数参考，同时使用第二低参考来平滑梯度并减少对孤立轨迹的过拟合。

### III-D Krum-Proxy目标
真实的Krum分数需要观察其他客户端的更新，对手无法获得。我们使用参考集对其进行近似：对于候选Δ_adv，我们计算其到所有参考的距离，并平均最近的⌊k/2⌋个（在最近的top-k邻居中）（算法1 (https://arxiv.org/html/2608.06637#alg1)，第14-15行）。这种两步结构专注于优化最密集的良性邻域，同时通过选择保持可微性。与将邻居统一对待的MinMax/MinSum[16 (https://arxiv.org/html/2608.06637#bib.bib16)]以及需要观察其他客户端更新并使用不可微线性搜索的Fang等人方法[5 (https://arxiv.org/html/2608.06637#bib.bib5)]不同，我们的代理从局部参考集出发，并支持与后门目标一起进行基于梯度的联合优化。尽管代理目标显式最小化Krum距离，但它也为Multi-Krum下的选择似然提供了强近似，因为Multi-Krum通过平均分数最低的m个更新放宽了选择标准。仅使用最近邻的内部一半强调了最密集的参考区域，而第V-B节 (https://arxiv.org/html/2608.06637#S5.SS2)中的full-k消融研究表明，对更多邻居求平均会稀释该信号并增加不稳定性。

### III-E 两阶段优化
阶段1（后门注入）在混合了干净样本和触发器中毒样本的批上，仅使用交叉熵损失和SGD（η，动量0.9）训练E_1个本地轮次。隔离后门目标使其能够收敛，而不会受到几何损失的竞争梯度信号干扰，这些信号在训练早期幅度小得多，否则会被抑制（第V-B节 (https://arxiv.org/html/2608.06637#S5.SS2)中的消融研究证实了这一点）。

阶段2（几何塑造）以一半的学习率在复合损失下训练E_2个本地轮次：
L = λ_l L_CE + λ_n L_norm + λ_k L_krum + λ_a L_anchor,  (2)
其中L_norm = (‖Δ_adv‖ - ‖Δ_loc‖)^2将范数与本地计算的良性风格增量匹配，L_anchor = ‖Δ_adv - Δ_anchor‖^2将更新拉向密集核心。(λ_l, λ_n, λ_k, λ_a)是平衡目标函数中相应组成部分贡献的标量超参数。

### III-F 基于投影的隐蔽性执行
阶段2之后，两步投影（算法1 (https://arxiv.org/html/2608.06637#alg1)，第22-28行）确保对抗性更新保持在良性更新范围内。第一步，如果‖Δ_adv - Δ_(1)‖ > σ_ref，则将更新投影到以Δ_(1)为中心、半径σ_ref的球上。第二步，将更新范数缩放到目标范数‖Δ‖_target = max(‖Δ‖_med, 0.5‖Δ_loc‖)，确保恶意更新具有与良性更新一致的范数。

（算法1的伪代码见原文）