我的联邦学习项目刚刚表明，“高准确率”可以完全掩盖模型遗漏整个类别中每一个攻击的情况，我认为更多人应该了解这一点[R]

背景是这样的：我一直在做一个研究项目，比较联邦学习算法（FedAvg、FedProx、FedNova）与集中式基线在网络入侵检测上的表现。我们使用CICIDS2017数据集，按攻击类型将其分为四个模拟的“孤岛”。其中三个孤岛有大量数据，但一个孤岛（Web攻击）在总共300万样本中只有约3000个样本，因此存在极端的不平衡。最让我吃惊的是，全局准确率看起来非常好，却完全掩盖了底层的真实情况。FedAvg的全局准确率达到了96%左右，听起来很棒，但当我按孤岛分解时，少数类孤岛的准确率只有约49%，对攻击类的召回率实际上为0.00，意味着它漏掉了该类别中的每一次攻击。全局数字通过平均掩盖了这一点，因为大数据孤岛表现良好且数据量更大，因此失败基本上被埋没了。更奇怪的是，我为了验证合理性，用10个不同的随机种子重新运行了集中式模型（即一次性看到所有数据的“黄金标准”基线），它在同一个少数类孤岛上的表现完全取决于种子，从约57%到99.5%不等。相同的模型、相同的数据、除了随机种子外一切都相同，结果要么完美检测到罕见攻击类，要么完全失败。这种在“集中式是安全基线”模型中的不稳定性是我一开始没有预料到的。FedNova（它根据本地步骤数对更新进行归一化，而不是简单平均）最终在所有孤岛上更加一致，无论哪个孤岛或种子，都能保持在高90%以上，同时也没有牺牲全局准确率。因此，论文的实际结论基本上就是：在联邦入侵检测中，全局准确率本身不是可靠的指标，必须查看每个客户端的性能，而聚合方法的选择对罕见攻击检测的重要性远超全局数字所暗示的。目前我正在为会议投稿重写这篇文章，如果大家对设置或发现感到好奇，欢迎提问。