用于目标检测的联邦学习：无需集中数据即可实现协作无人机学习

# 联邦学习用于目标检测：实现无人机协同学习而无需集中数据
来源：https://arxiv.org/html/2607.02636

###### 摘要

目标检测是安全关键型无人机和边缘视觉系统（包括灾害响应、作战安全环境、基础设施监控和国防应用）中AI驱动感知的基本能力。在此类环境中，稳健的模型性能依赖于大规模、持续更新的数据集。然而，训练高性能检测器通常需要集中航拍图像，这会引发隐私、监管、存储和带宽方面的挑战。这在分布式无人机部署中尤为突出，因为视觉数据在机载生成，且将其传输到集中式基础设施往往不切实际或不受欢迎。

在本工作中，我们将联邦学习（FL）应用于目标检测，使无人机能够在保持图像数据本地化和私密性的同时改进共享模型。我们使用 KIIT-MiTA 数据集，在 Sherpa.ai (https://www.sherpa.ai/) FL 平台上实现了一个联邦目标检测流水线，并在 IoU 阈值 0.50 和 0.50-0.95 下，将其与单无人机和集中式基线模型进行平均精度均值（mAP）对比。在我们的实验中，所提出的 FL 方法性能接近集中式训练，同时大幅优于单无人机训练；最佳轻量级模型（YOLO26 nano）即使在非常有限的边缘基础设施上也可部署，其在 [email protected] 和 [email protected]:0.95 上分别实现了 52.89% 和 67.80% 的相对增益。这些结果表明，FL 能够在无需数据集中化的情况下，实现跨分布式无人机集群的可扩展、高性能且隐私保护的目标检测。

参见图注图1：展示最佳联邦 YOLO 模型无人机 [email protected] 的全球地图。## 1 引言

目标检测是计算机视觉中的一个基本问题，涉及在图像或视频中识别并定位特定类别的语义对象实例。它是无人机监控、搜索与救援、灾害响应、基础设施检查、精准农业和机器人技术等广泛应用中的关键组成部分。深度学习的最新进展显著提升了目标检测系统的性能。Faster R-CNN[30 (https://arxiv.org/html/2607.02636#bib.bib6)]、YOLO[27 (https://arxiv.org/html/2607.02636#bib.bib7),28 (https://arxiv.org/html/2607.02636#bib.bib8),11 (https://arxiv.org/html/2607.02636#bib.bib60)] 和 RetinaNet[19 (https://arxiv.org/html/2607.02636#bib.bib9)] 等模型已成为最先进的基准，在各种场景下实现了卓越的准确性和效率。

在无人机视觉中，目标检测尤为重要，因为无人航空器必须在动态和异构环境中运行，同时依赖准确的实时感知。与地面图像相比，航拍图像引入了额外的挑战，包括目标尺寸小、视角变化、因高度不同导致的尺度变化、背景杂乱、相机运动以及遮挡[39 (https://arxiv.org/html/2607.02636#bib.bib49)]。这些因素使得无人机平台上的稳健检测要求更高，并增加了使用大规模、多样化且标注良好的数据集进行训练的重要性。

尽管近期取得了进展，目标检测仍存在若干挑战。这些问题包括类别不平衡、遮挡、目标的尺度和宽高比变化，以及模型训练需要大规模、多样化且高质量的标注数据集[37 (https://arxiv.org/html/2607.02636#bib.bib10)]。此外，在真实无人机场景中部署稳健的目标检测系统，通常需要使模型适应异构数据分布——这些分布可能因地理区域、天气条件、传感器、飞行高度和任务剖面而有显著差异。应对领域漂移并确保模型在此类变异性下的泛化能力，仍然是关键开放问题[33 (https://arxiv.org/html/2607.02636#bib.bib58)]。

进一步改进的关键障碍之一是有限的数据共享。在许多领域，特别是涉及关键基础设施、公共安全、工业检查或敏感地理信息时，隐私法规[29 (https://arxiv.org/html/2607.02636#bib.bib12),17 (https://arxiv.org/html/2607.02636#bib.bib15),9 (https://arxiv.org/html/2607.02636#bib.bib13),2 (https://arxiv.org/html/2607.02636#bib.bib14)] 和专有性问题阻止数据集的集中聚合。在基于无人机的应用中，这些约束进一步受到有限连接、机载存储限制以及将大量图像数据从边缘设备传输到集中式基础设施的运营成本等因素的影响。因此，依赖集中式训练并汇集数据的传统方法往往不可行。

联邦学习（FL）[26 (https://arxiv.org/html/2607.02636#bib.bib16)] 成为一种规避这些局限性的有前景的范式。FL 使多个参与者能够在不交换本地数据的情况下协同训练全局模型，从而保护数据隐私并遵守监管约束（见图1 (https://arxiv.org/html/2607.02636#S0.F1)）。FL 的一个具体实例是横向联邦学习（HFL），其中各节点的数据集共享相同的特征空间，但样本空间不同[35 (https://arxiv.org/html/2607.02636#bib.bib17)]。

将 HFL 应用于无人机环境中的目标检测任务具有若干切实的好处。通过在不要求原始数据交换的情况下跨分布式数据集训练模型，可以利用更多样化的航拍场景、目标外观和运行条件[22 (https://arxiv.org/html/2607.02636#bib.bib40)]。这可以显著提高目标检测模型的泛化能力，同时提供一个可扩展且保护隐私的框架，使得新的数据可从不同无人机或部署站点获得时，无需违反数据主权即可持续改进模型。

### 1.1 动机

基于无人机的目标检测在安全关键场景（如军事监视、灾害响应和基础设施检查）中日益重要，在这些场景中，感知系统必须在实时和资源受限的条件下准确运行。这些环境中的稳健性能需要能够捕获多样化航拍视角、目标尺度、背景、传感器、飞行条件和运行上下文的训练数据。

然而在实践中，此类数据自然分布在不同的无人机、操作员或部署站点之间。单无人机训练保持数据本地化，但将每个模型局限于某个节点可用的信息，这可能会降低泛化能力。集中式训练可以利用完整数据集，但需要将原始图像传输到中央服务器，这由于隐私、安全、带宽或数据治理约束而可能不切实际。

本工作的动机源于以下实验问题：联邦学习能否在避免原始图像集中化的同时，恢复多无人机训练的大部分益处？为回答这一问题，我们在 KIIT-MiTA 无人机目标检测数据集上，采用共同的实验协议比较了单无人机、集中式和联邦式训练。

### 1.2 贡献

本工作的主要贡献是对无人机目标检测中的联邦学习进行受控的实验评估。我们并未提出新的目标检测器或新的联邦优化算法，而是重点评估标准联邦学习策略在现实中分布式设置（每个节点保持数据本地化）下能否保持有竞争力的检测性能。

具体而言，本文的贡献如下：

- • 我们实现了一个联邦目标检测流水线，使四个分布式节点能够在不交换原始无人机图像的情况下进行协同训练。
- • 我们使用 KIIT-MiTA 数据集上的非独立同分布（non-IID）划分，在共同的实验协议下评估单无人机、集中式和联邦式场景，从而直接比较其性能和隐私-效用权衡。
- • 我们使用检测和效率指标对多个轻量级 YOLO nano 架构进行基准测试，并提供了总体和逐类分析，表明联邦式训练始终优于单无人机学习，同时保持接近集中式训练的性能。

## 2 问题公式化

本节阐述本工作所针对的用例，即无人机目标检测。我们首先介绍航拍感知背景下的目标检测概念，然后对该任务涉及的结构化预测问题进行形式化描述。

### 2.1 目标检测

目标检测是无人机系统中的核心感知任务，使平台能够识别并定位观察场景中的相关目标，例如人员、车辆、建筑物以及其他地面或基础设施元素（具体取决于任务背景，参见图2 (https://arxiv.org/html/2607.02636#S2.F2)）。与为整张图像分配单一标签的标准分类任务不同，目标检测要求对机载相机捕获的每帧图像中的多个目标预测其类别和精确的边界框坐标。这一结构化预测任务对于支持自主或辅助式无人机操作至关重要，因为它使系统能够感知动态环境、监控感兴趣区域、随时间跟踪目标，并支持监控、搜索与救援、灾害评估和基础设施检查等应用中的决策。

参见图注图2：无人机航拍图像中目标检测过程的示意图。
### 2.2 相关工作

本小节回顾与本工作最相关的几个研究方向，即航拍和无人机场景中集中式和联邦式目标检测。我们重点介绍实时检测器、航拍目标检测基准以及隐私保护分布式训练方面的先前研究。这些背景有助于定位我们在 KIIT-MiTA 数据集[5 (https://arxiv.org/html/2607.02636#bib.bib50)] 上进行的比较分析。

#### 2.2.1 集中式无人机目标检测

基于深度学习的目标检测在过去十年中发展迅速。两阶段检测器如 R-CNN[7 (https://arxiv.org/html/2607.02636#bib.bib18)]、Fast R-CNN[8 (https://arxiv.org/html/2607.02636#bib.bib19)] 和 Faster R-CNN[30 (https://arxiv.org/html/2607.02636#bib.bib6)] 通过区域提议和端到端优化建立了强大的精度基线。与此同时，单阶段检测器如 YOLO[27 (https://arxiv.org/html/2607.02636#bib.bib7),28 (https://arxiv.org/html/2607.02636#bib.bib8)]、SSD[21 (https://arxiv.org/html/2607.02636#bib.bib29)] 以及最近的 Ultralytics YOLO 变体[15 (https://arxiv.org/html/2607.02636#bib.bib59),11 (https://arxiv.org/html/2607.02636#bib.bib60),13 (https://arxiv.org/html/2607.02636#bib.bib61),14 (https://arxiv.org/html/2607.02636#bib.bib62)] 通过直接回归边界框和类别概率实现了实时推理。最近，无锚检测器如 FCOS[32 (https://arxiv.org/html/2607.02636#bib.bib20)] 和基于 Transformer 的模型如 DETR[3 (https://arxiv.org/html/2607.02636#bib.bib21)] 进一步拓宽了目标检测架构的设计空间。

当这些模型部署在无人机上时，任务因视角变化、相机运动、随高度变化的尺度变化、背景杂乱以及极小目标的存在而变得更加具有挑战性。近期关于航拍目标检测的综述强调，这些因素使得标准地面视角的基准不足以评估面向无人机平台的感知系统[39 (https://arxiv.org/html/2607.02636#bib.bib49)]。此外，实时空中检测通常需要在边缘硬件上满足严格的计算和延迟约束，这进一步推动了轻量级且精确的检测器设计[16 (https://arxiv.org/html/2607.02636#bib.bib52)]。

第二个重要的研究方向是数据集设计。传统基准如 COCO[20 (https://arxiv.org/html/2607.02636#bib.bib22)] 和 PASCAL VOC[6 (https://arxiv.org/html/2607.02636#bib.bib23)] 在通用评估中仍有价值，但未完全反映航拍图像的几何和语义特性。因此，特定于无人机的数据集对于现实基准测试变得越来越重要。特别是，Chakrabarty 等人[4 (https://arxiv.org/html/2607.02636#bib.bib53)] 研究了使用多种基于 YOLO 的检测和跟踪流水线进行实时无人机军事目标监视。他们的结果表明，现代单阶段检测器对空中军事场景感知是有效的，其中 YOLO11 small 结合 ByteTrack 提供了最佳的整体性能。这些发现支持将近期基于 YOLO 的检测器作为无人机军事目标检测的强基线。

#### 2.2.2 联邦目标检测

尽管集中式训练仍然是一个强基线，但它假设所有图像可以汇集到一个单一仓库。这一假设在无人机部署中往往不现实，因为数据可能地理分布广泛、带宽受限、操作敏感，或受限于隐私和安全约束。联邦学习通过允许节点在不传输原始图像的情况下协同训练共享模型来解决这一限制[26 (https://arxiv.org/html/2607.02636#bib.bib16),35 (https://arxiv.org/html/2607.02636#bib.bib17)]。

先前的工作已经展示了联邦学习在视觉感知领域的潜力。FedVision[22 (https://arxiv.org/html/2607.02636#bib.bib40)] 为联邦视觉目标检测提供了一个早期实用框架。然而，特定于无人机的联邦目标检测相较于通用联邦视觉任务仍然探索较少。在为数不多的领域特定研究中，Lu 和 Sun[23 (https://arxiv.org/html/2607.02636#bib.bib57)] 开发了一个使用联邦学习训练的实时无人机目标检测系统，并展示了所得模型可在实际无人机上部署，同时保持实用的推理速度。近期，Lu 和 Sun[24 (https://arxiv.org/html/2607.02636#bib.bib55)] 通过引入模型对比损失和焦点损失来解决联邦无人机目标检测中的非独立同分布数据问题，显示出相对于标准 FedAvg 训练有明显的改进。综合来看，这些研究表明联邦学习是无人机目标检测的一种有前景的方法，同时强调了对非独立同分布数据的鲁棒性和部署效率仍是核心挑战。

与这些文献相比，我们的工作聚焦于一个基于无人机目标检测的场景，使用 KIIT-MiTA 数据集，并在共同的实验流水线下评估集中式、单节点和联邦式训练。在这个意义上，本工作的贡献不在于提出新的检测器架构或新的联邦优化器，而在于一项受控研究，考察联邦训练能否在现实无人机图像场景中避免原始数据集中化的同时，保持有竞争力的航拍检测性能。

### 2.3 问题描述

目标检测任务包括在输入图像中联合执行 *目标定位* 和 *分类*。形式上，给定输入图像 x ∈ X，目标是识别图像中存在的不确定数量的目标，