联邦可解释人工智能：角色、架构、评估与开放挑战

# 角色、架构、评估与开放挑战 来源：https://arxiv.org/html/2607.13045

## 联邦可解释人工智能：角色、架构、评估与开放挑战

###### 摘要

联邦学习（FL）已成为一种在分布式异构数据源上进行隐私保护协作模型训练的关键范式。通过将原始数据保留在本地，FL解决了数据保密性问题，但并没有解决现代机器学习模型的不透明性。与此同时，可解释人工智能（XAI）因其在提高透明度、信任度和问责性方面的作用而受到关注，尤其是在高风险领域。两者的交叉催生了联邦可解释人工智能（FedXAI）范式，旨在同时满足隐私和可解释性需求。本综述对FedXAI进行了系统回顾，超越了将可解释性视为纯粹事后工具的观点。我们展示了可解释性如何日益成为FL生命周期中的主动组成部分，影响聚合、协调、个性化、鲁棒性和系统级决策。为了组织日益增长的文献，我们引入了一个多轴分类法，根据可解释性的作用、模型和解释器类型、解释范围、集成水平、FL设置和数据异构性对FedXAI方法进行分类。此外，我们考察了从模型无关解释到可解释设计的联邦模型以及可解释性感知聚合机制等方法。我们回顾了评估实践，并强调了在联邦环境中评估解释质量、稳定性、隐私泄露和计算开销方面缺乏标准化基准和指标。最后，我们识别了开放挑战，如非独立同分布数据下的可解释性、以解释为中心的安全威胁、通信高效的XAI、持续性FedXAI，以及领域知识和监管约束的整合。通过整合现有工作并识别关键差距，本综述为设计可信、透明且隐私保护的联邦AI系统提供了参考框架。

###### 关键词: 联邦学习，可解释人工智能，FedXAI，隐私保护，可信人工智能，非独立同分布，分层FL

††期刊: Nuclear Physics B\\
\affiliation [label1] organization=Department of Information Engineering, University of Pisa, addressline=Largo Lucio Lazzarino 1, city=Pisa, postcode=56122, country=Italy

## 1 引言

联邦学习（FL）已成为隐私保护协作机器学习的重要范式，特别是在由于监管、组织或伦理约束而无法集中收集数据的场景中。通过将原始数据保留在本地并仅交换模型更新，FL能够在分布式数据孤岛之间进行学习，同时降低直接数据暴露风险[17 (https://arxiv.org/html/2607.13045#bib.bib201)]。这种隐私设计动机以及FL用于可解释AI模型的更广泛框架，在关于联邦可解释人工智能（FedXAI）的基础性视角中得到了明确讨论[58 (https://arxiv.org/html/2607.13045#bib.bib219)]。尽管有这些优势，但FL本身并未解决现代机器学习的一个基本局限性：所学模型缺乏透明性和可解释性。在实践中，许多现实世界的联邦部署仍然依赖黑盒模型，这使得利益相关者难以验证决策、审计模型行为，或理解异构客户端下的失败模式。这个问题在非独立同分布（non-IID）数据的现实设置中尤为明显，如基于SHAP分析的分布式入侵检测系统（IDS）评估中所示，模型行为和解释一致性可能因客户端而异[56 (https://arxiv.org/html/2607.13045#bib.bib187)]。

可解释人工智能（XAI）通常用于通过提供人类可理解的预测解释来增强透明度。然而，当单独考虑时，XAI通常假设可以集中访问数据、模型内部或重复查询——这些假设与FL的去中心化和隐私受限性质相冲突。此外，解释产物本身可能会在联邦环境中引入额外的隐私和安全风险；例如，FL-IDS研究强调，解释可能成为新的泄露表面，并促使对解释信号进行安全/受控聚合[38 (https://arxiv.org/html/2607.13045#bib.bib9)]。这些局限性表明，可解释性不能被视为纯粹的事后附加功能，而必须重新设计以在联邦约束下运行。

在高风险领域，隐私和可解释性的联合需求最为明显，这些领域的模型输出可能引发不可逆的行动、监管后果或安全关键干预。在FedXAI文献中，这种协同设计动机反复出现在医疗、金融、IDS和能源系统中。在医疗领域，FL与基于SHAP的解释相结合，用于提供临床可解释的决策支持，同时将患者数据保留在本地[41 (https://arxiv.org/html/2607.13045#bib.bib193)]。在金融领域，联邦欺诈检测管道集成SHAP以支持银行间数据孤岛下的透明性和可审计性[7 (https://arxiv.org/html/2607.13045#bib.bib3)]。在网络安全和IDS领域，利用解释信号的安全聚合来提供可信的解释，而不暴露原始流量数据[38 (https://arxiv.org/html/2607.13045#bib.bib9)]。在能源系统中，可解释性被集成到聚类FL中，以处理异构性并提供可解释的预测驱动因素（例如辐射和气象因素）[3 (https://arxiv.org/html/2607.13045#bib.bib4)]。在这些领域中，FedXAI自然成为数据无法集中且决策过程必须保持人工验证的设置下的解决方案。

尽管在FL和XAI交叉领域的研究日益增多，但现有综述仍不足以涵盖这一新兴范式的全部范围。之前的综述式讨论要么将FL/XAI分开强调，要么提供高层次的概念框架，而没有系统地组织设计选择、评估维度和部署约束——这一问题在早期FedXAI综述视角中已被承认[17 (https://arxiv.org/html/2607.13045#bib.bib201)]。此外，FedXAI研究的快速扩张导致了方法论碎片化、评估实践不一致，以及在标准化基准和解释指标方面缺乏共识。同时，评估仍然分散：解释质量、非独立同分布数据下的一致性、解释带来的隐私泄露风险以及生成/共享解释的成本等方面的指标尚未标准化，使得跨论文比较变得困难。

最近的几篇综述从不同角度研究了FL、XAI及其交叉领域。早期的FedXAI讨论主要提供了将可解释性集成到隐私保护联邦系统中的概念动机[17 (https://arxiv.org/html/2607.13045#bib.bib201)]。后来的研究在特定领域背景下探索了这一交叉。例如，[6 (https://arxiv.org/html/2607.13045#bib.bib5)]讨论了FL和XAI作为物联网入侵检测系统有前途的未来方向，而[12 (https://arxiv.org/html/2607.13045#bib.bib8)]则关注医疗和临床决策支持中的可解释和联邦AI。信任导向的视角在[78 (https://arxiv.org/html/2607.13045#bib.bib7)]中进一步探索，其中可解释性与公平性、隐私、鲁棒性和问责性一起被视为可信FL的组成部分。类似地，[31 (https://arxiv.org/html/2607.13045#bib.bib6)]回顾了FL和XAI在医疗物联网（IoMT）应用中的集成，强调了智能医疗系统中的隐私保护和可解释性。最近，[23 (https://arxiv.org/html/2607.13045#bib.bib27)]回顾了面向下一代物联网环境的FedXAI，重点关注去中心化系统中的可扩展性、透明度、通信效率和信任。尽管这些综述提供了宝贵的见解，但大多数现有研究要么专注于特定应用领域，要么将可解释性视为次要的信任组件，而不是贯穿FL生命周期的核心设计维度。此外，当前的FedXAI研究仍然缺乏统一的分类法、标准化的评估协议以及在异构和隐私受限设置下一致的基准测试策略。

相比之下，本综述采用统一的分类法驱动和评估感知视角，系统性地分析了跨联邦架构、训练工作流、评估方法和部署场景的可解释性。本综述的主要贡献总结如下：

- 1. 引入了一个多维分类法，系统地分类了跨学习范式、可解释性类型以及联邦管道内集成水平的FedXAI方法。
- 2. 提出了一个生命周期导向的视角，分析了可解释性如何与FL的不同阶段（包括本地训练、聚合、通信和部署）相互作用。
- 3. 识别并分析了当前FedXAI研究中的关键评估差距和方法论局限性，特别强调了非独立同分布和隐私受限设置下的指标、基准和实验协议。
- 4. 综合了一个开放挑战路线图，概述了朝着鲁棒、隐私保护和可信FedXAI系统的关键研究方向。

图1 (https://arxiv.org/html/2607.13045#S1.F1) 提供了本综述逻辑结构的概览。提出的多轴分类法被定位为核心元素，指导方法论方法、评估标准、数据集和应用领域的组织。这种结构使得能够对FedXAI进行连贯和系统的分析，从基础概念到实际部署挑战和未来研究方向。

参见说明
图 1: 本综述的概念和逻辑结构。

## 2 背景与预备知识

### 2.1 联邦学习基础

联邦学习（FL）是一种分布式机器学习范式，其中多个客户端——如移动设备、组织或边缘节点——协同训练一个共享的全局模型，而不交换它们的原始数据。这一概念由McMahan等人[51 (https://arxiv.org/html/2607.13045#bib.bib66)]推广，通过仅传输模型更新、参数或梯度，而非本地原始数据，使得在隐私敏感和地理分布式环境中学习成为可能[82 (https://arxiv.org/html/2607.13045#bib.bib65)]。通过设计，FL降低了直接数据暴露的风险，同时允许模型受益于去中心化和异构的数据源。

FL的快速采用受到技术和监管两方面的推动，这些因素限制了集中数据收集的可行性。对数据隐私日益增长的担忧，加上如GDPR等严格的法律框架，限制了跨组织的数据聚合[41 (https://arxiv.org/html/2607.13045#bib.bib193)]。同时，个人设备、传感器和企业系统产生的大量数据使得集中训练效率低下或不切实际。因此，许多现实世界环境的特点是孤立的“数据孤岛”，由于隐私、监管或组织约束而无法共享。FL通过实现协作模型训练来解决这些挑战，同时确保数据保留在本地并受其所有者的控制[37 (https://arxiv.org/html/2607.13045#bib.bib64)]。

Pei等人[61 (https://arxiv.org/html/2607.13045#bib.bib63)]给出了FL的一个标准数学公式。考虑\(K\)个客户端\(\{C_1,\dots,C_K\}\)，每个客户端\(C_k\)拥有一个私有数据集\(D_k\)，包含\(n_k\)个样本。设\(n=\sum_{k=1}^K n_k\)为所有客户端的总样本数。全局学习目标定义为：

\[
\min_{\omega\in\mathbb{R}^d} F(\omega) = \sum_{k=1}^K \frac{n_k}{n} F_k(\omega),
\tag{1}
\]

其中客户端\(k\)的本地经验损失为：

\[
F_k(\omega) = \frac{1}{n_k} \sum_{j=1}^{n_k} f_{k,j}(\omega; x_{k,j}, y_{k,j}),
\tag{2}
\]

其中\(f_{k,j}\)表示在本地样本\((x_{k,j}, y_{k,j})\)上产生的损失。这个公式镜像了集中式经验风险最小化，关键区别在于原始数据是分布式的，从未集中存储或访问。

从性能角度来看，Blanco-Justicia等人[10 (https://arxiv.org/html/2607.13045#bib.bib62)]强调，一个实用的FL算法应实现接近集中式模型（即，在传统学习范式下，所有数据集中收集并联合优化的模型）的预测精度：

\[
\left\| \text{Accuracy}_\text{fed} - \text{Accuracy}_\text{centralized} \right\| < \delta,
\tag{3}
\]

其中\(\delta\)是一个可容忍的小边际。这个标准反映了FL应同时保持隐私和竞争性模型性能的期望。

根据部署环境，FL系统通常分为*跨设备*、*跨孤岛*和*分层FL (HFL)*设置。跨设备FL通常涉及大量资源受限且间歇性可用的客户端（如智能手机或物联网设备），而跨孤岛FL涉及数量较少但稳定且资源丰富的客户端，如组织或机构。分层FL通过引入多级聚合结构扩展了这些模型，使得能够跨边缘、区域和中央服务器进行可扩展协调。

FL中的一个关键挑战是客户端之间的统计异构性，通常称为非独立同分布（non-IID）数据。这种异构性可能源于标签分布、特征分布的差异、数据量不平衡或随时间变化的概念漂移。非独立同分布数据通常会导致客户端漂移、不稳定收敛和不一致的全局模型行为，使得FL优化比集中式学习更具挑战性。

FL的核心操作工作流基于联邦平均（FedAvg）算法[51 (https://arxiv.org/html/2607.13045#bib.bib66)]。训练在中央服务器和一组参与客户端之间以迭代通信轮次进行。在第\(t\)轮，服务器将当前全局模型\(\omega^{(t)}\)广播给选定的客户端子集。每个客户端在其本地数据上执行若干步随机梯度下降（SGD）以计算本地更新\(g_k^{(t)}\)，然后将其发送回服务器。服务器使用加权平均聚合这些更新：

\[
\omega^{(t+1)} \leftarrow \omega^{(t)} - \eta \sum_{k=1}^K \frac{n_k}{n} g_k^{(t)},
\tag{4}
\]

其中\(\eta\)表示全局学习率[50 (https://arxiv.org/html/2607.13045#bib.bib67)]。虽然这种机制避免了原始数据共享，但它仅提供部分隐私保证，并且仍然...