面向物联网系统多变量时间序列异常检测的联邦低秩Koopman学习

# 面向物联网系统多变量时间序列异常检测的联邦低秩库普曼学习
来源：https://arxiv.org/html/2607.08978
Tung\-Anh Nguyen, Van\-Phuc Bui, Anh Tuyen Le, Kim Hue Ta, Minh Thuy Le, J\.Andrew Zhang, and Xiaojing HuangT\.\-A Nguyen, A\. T\. Le, J\. A\. Zhang, and X\. Huang 就职于悉尼科技大学工程与信息技术学院，澳大利亚，邮编2007（电邮：tunganh\.nguyen@uts\.edu\.au, anhtuyen\.le@uts\.edu\.au, andrew\.zhang@uts\.edu\.au, xiaojing\.huang@uts\.edu\.au）。V\.\-P Bui 就职于FPT大学信息技术学院，越南（电邮：phucbv5@fe\.edu\.vn）。Kim Hue Ta 和 Minh Thuy Le 就职于河内科技大学电气与电子工程学院，越南（电邮：hue\.tathikim@hust\.edu\.vn, minhthuy\.le@hust\.edu\.vn）。

###### 摘要

分布式物联网系统生成多变量时间序列流，用于监控物理资产、服务器和嵌入式传感平台。检测异常时间行为对于故障诊断、预测性维护和安全保障至关重要。然而，实际的物联网异常检测受到数据分散且非独立同分布、带宽有限以及边缘设备计算和内存受限的阻碍。本文提出了FedKAD，一种面向分布式物联网多变量时间序列的资源高效联邦库普曼异常检测框架。与需要训练和通信大型神经网络模型的基于深度学习的异常检测器不同，FedKAD通过轻量级滑动窗口库普曼表示来学习正常时间动态。联邦训练被形式化为一个低秩共识问题，其中原始传感器流和本地降阶动态保留在设备上，而只有紧凑的子空间变量与服务器交换。为了在正交归一化约束下优化共享表示，我们开发了一种联邦Stiefel\-ADMM算法，并提供了在部分客户端参与下的收敛性和平稳性分析。在推理阶段，每个客户端通过测量观察到的未来轨迹与学习到的库普曼动态之间的预测残差，在本地检测异常。在四个广泛使用的多变量时间序列异常检测基准上的实验表明，与联邦深度学习基线相比，FedKAD保持或提高了检测性能。更重要的是，对于物联网部署，FedKAD的训练速度比神经网络基线快高达 \(2.1 \times 10^3\) 倍，通信量低 80 倍，推理延迟低 79 倍，证实了其适用于资源受限的边缘设备。

## I. 引言

分布式物联网系统生成多变量时间序列流，用于监控物理资产、工业过程、服务器、航天器子系统和嵌入式传感平台。检测这些流中的异常时间行为对于故障诊断、预测性维护和安全监控至关重要[chandola2009anomaly, cook2020anomaly]。与传统的离线异常检测不同，物联网异常检测通常必须在网络边缘持续运行，而传感器流由地理位置分散的设备生成，这些设备的通信、计算、内存和能量资源有限。这些限制使得依赖集中式数据收集或计算昂贵的模型变得困难，尤其是当原始传感器测量值涉及隐私或操作受限时。

物联网多变量时间序列异常检测的一个基本挑战是，异常行为很少局限于孤立的点异常值。在许多实际系统中，故障、网络攻击和退化模式表现为异常的时间演化、传感器漂移、响应延迟、跨通道依赖关系的变化，或偏离被监控过程的正常动态行为。例如，机器故障可能首先表现为振动和温度动态的细微变化，然后才出现大的点状尖峰；而受感染的物联网设备可能表现出异常的时间通信模式，而非单个异常数据包。因此，有效的检测器应同时捕获时间依赖性和变量间关系，并应识别出观察到的轨迹何时变得与学习到的正常动态不一致。

早期的时间序列异常检测方法依赖于统计模型、基于距离的检测器、密度估计或预测残差[chandola2009anomaly, cook2020anomaly]。这些方法具有吸引力，因为它们通常可解释且计算量轻。然而，它们通常需要对平稳性、线性或简单分布形式做出强假设，并且在建模高维多变量时间序列中的非线性依赖关系时会遇到困难。基于极值理论的阈值方法，例如（流式）超阈值峰值，可以减少流式设置中手动选择阈值的需求[siffer2017pot]，但它们通常应用于预先计算的异常分数之上，本身并不能解决从分布式多变量传感器流中学习复杂正常动态的问题。

基于深度学习的异常检测器已被开发用于处理多变量时间序列的非线性和高维特性[xu2018unsupervised, zong2018deep, malhotra2016lstm, su2019robust, zhao2020multivariate, deng2021graph, xu2022anomaly, tuli2022tranad]。基于重构的模型，包括自编码器和变分自编码器方法，学习正常数据的紧凑表示，并标记重构误差大的样本[xu2018donut, zong2018dagmm]。循环模型，如长短期记忆网络编码器\-解码器和随机循环网络，进一步捕获时间依赖性，并已应用于多传感器和航天器遥测异常检测[malhotra2016lstm, hundman2018spacecraft, su2019omni]。更近期的方法结合了对抗训练、图神经网络、注意力机制和Transformer架构来建模复杂的时间和传感器间依赖关系[zhao2020mtadgat, deng2021gdn, xu2022anomalytransformer, tuli2022tranad]。这些方法在集中式基准测试中取得了强检测精度。

尽管取得了成功，深度异常检测器并不总是适用于联邦物联网部署。首先，许多深度异常检测器依赖于繁重的神经重构、循环、图或注意力模块，需要在本地窗口上反复进行反向传播。其次，在联邦学习中使用时，客户端必须反复通信神经参数或梯度，这对于带宽有限的物联网链路可能变得昂贵。此外，它们的内存和计算成本对于弱的边缘设备（如低成本网关、树莓派类节点和嵌入式平台）可能高得令人望而却步。最后，深度模型通常对非独立同分布客户端数据敏感，而这是物联网系统中的常见情况，因为设备在不同的环境、工作负载、异常率和传感配置下运行。

联邦学习提供了一种自然的方式，可以在分布式客户端之间训练模型，而无需将原始数据上传到服务器[mcmahan2017communication, kairouz2021advances]。在物联网系统中，联邦学习已被探索用于隐私保护分析、入侵检测和分散的时空建模[nguyen2021fliot, nguyen2019diot, meng2021crossnode]。例如，DIoT使用联邦学习聚合特定设备类型的行为配置文件，用于检测受感染的物联网设备[nguyen2019diot]，而跨节点联邦图神经网络在不直接共享数据的情况下对分散的时空传感器数据进行建模[meng2021crossnode]。然而，现有的基于联邦学习的方法通常继承了底层模型类的计算和通信负担。当本地模型是深度神经异常检测器时，联邦学习保护了原始数据，但并未消除本地神经训练和反复通信大型模型参数的需求。这些限制表明，联邦物联网异常检测不应简单地将现有的深度检测器包装在联邦学习协议中。相反，异常检测器从其设计上就应该是轻量级的，需要低的本地计算、低内存和紧凑的通信，同时允许客户端特定的动态保留在设备上。

库普曼算子理论提供了一个原则性的框架，用于通过提升的可观测空间中的线性演化来建模非线性动力系统[koopman1931hamiltonian, rowley2009spectral, williams2015edmd]。这种视角非常适合多变量时间序列，因为它们的变量通常是基础动力过程的耦合组件，而不是独立的标量流。在许多物联网监控系统中，一个变量的变化可能是异常行为的早期指标，也可能影响其他变量的演化。例如，在生理传感中，血压和心率的异常模式在联合分析时比单独考虑每个信号更具信息量；类似地，在工业监控中，振动、温度和功耗的变化可能共同指示机器退化。对于多变量时间序列数据，滑动窗口或延迟坐标可观测可以将一个时间片段表示为一个动态状态，该状态共同包含最近历史和跨通道依赖关系。数据驱动的库普曼近似，如动态模态分解和最优模态分解，然后从快照对中学习一个紧凑的线性演化模型[schmid2010dmd, williams2015edmd, wynn2013optimal]。由此产生的低秩库普曼子空间捕获了正常行为的主导相干模态，而降阶算子预测了它们的时间演化。因此，异常被检测为偏离这些学习的正常动态：当故障、攻击或传感器退化干扰了个体变量的时间演化或它们的变量间耦合时，库普曼预测残差会变得很大。

在本文中，我们提出了**FedKAD**，一种面向分布式物联网多变量时间序列的联邦低秩库普曼异常检测框架。关键思想是用轻量级的联邦低秩动态建模取代繁重的联邦神经重构。每个边缘设备将其本地多变量时间序列转换为滑动窗口快照，并学习一个正常时间演化的库普曼风格模型。FedKAD不是学习一个完整的高维库普曼算子，而是使用一个正交归一化的低秩子空间和一个私有的降阶算子来近似局部动态。在推理阶段，每个设备通过将观察到的未来轨迹与其学习的正常动态预测的轨迹进行比较，在本地检测异常。

FedKAD被设计为匹配联邦物联网系统的约束。原始时间序列快照永远不会离开设备。每个客户端将其本地数据矩阵和降阶库普曼算子保持私有，而服务器仅通过共识优化来协调一个共享的低秩子空间。与联邦深度学习基线相比，这种设计大幅减少了通信，因为客户端交换的是紧凑的子空间变量，而不是完整的神经模型。同时，本地的降阶动态保持客户端特定，允许FedKAD适应异构的本地行为，同时仍然受益于共享的联邦表示。由此产生的优化问题是一个具有正交归一化子空间约束的低秩共识形式。为了解决这个问题，我们开发了一种联邦Stiefel\-ADMM算法，该算法在本地子空间更新、服务器端共识聚合和本地对偶更新之间交替进行。正交归一化约束直接在Stiefel流形上使用投影梯度步骤和QR回缩来处理，遵循矩阵流形优化的原理[absil2008optimization]，而共识结构则遵循用于分布式优化的ADMM框架[boyd2011distributed]。我们还提供了在部分客户端参与下的收敛性和平稳性分析。

本文的主要贡献总结如下：

- • 我们提出了FedKAD，一个面向分布式物联网多变量时间序列的联邦库普曼异常检测框架，使每个边缘设备能够在不上传原始传感器流的情况下本地检测异常时间行为。
- • 我们将联邦异常检测形式化为一个低秩库普曼共识问题，其中每个客户端将其本地快照和降阶动态保持私有，而只有紧凑的子空间变量与服务器交换。
- • 我们开发了一种联邦Stiefel\-ADMM算法，用于在部分客户端参与下优化共享的正交归一化库普曼子空间，并提供了收敛性和平稳性分析。
- • 我们在非独立同分布联邦设置和多种评估协议下，在四个广泛使用的多变量时间序列异常检测基准上评估了FedKAD，这是受近期关于点调整时间序列异常检测指标的担忧所驱动[kim2022rigorous]。FedKAD在四个数据集中的三个上取得了最佳的F1分数，同时展示了其适用于资源受限的物联网部署。

## II. 背景

### II\-A 联邦学习

联邦学习允许分布式客户端协作训练模型，同时保持原始数据本地化。每个客户端执行本地优化，并将模型更新发送给服务器，服务器将其聚合成一个共享模型以供下一轮通信使用。FedAvg[mcmahan2017communication]是标准形式，随后的联邦学习变体已经使得跨领域的大规模隐私感知学习成为可能[kairouz2021advances, li2020federated]，包括多变量时间序列分类和预测。

尽管有这些好处，联邦学习受到通信和客户端计算能力的限制。大的参数更新交换成本高，而边缘设备通常具有受限的内存、能量和计算能力。对于多变量时间序列异常检测，这些问题变得更加严重，因为异常稀少、标签通常不可用，并且时间模式在不同客户端之间变化很大。先前的工作通过量化[reisizadeh2020fedpaq]、压缩或稀疏化[sattler2019robust]以及自适应通信[caldas2018expanding]来减少通信。然而，这些技术可能会引入额外的处理和调优开销，从而激发为分布式时间序列流上的无监督异常检测量身定制的轻量级联邦学习设计。

### II\-B 多变量时间序列异常检测

多变量时间序列异常检测旨在从时间相关的高维观测中识别异常行为。现有方法包括用于时间依赖性建模的循环模型[malhotra2015long, hundman2018detecting]、检测偏离学习到的正常模式的重构型自编码器[zong2018deep, su2019robustly]，以及通过对抗学习建模复杂数据分布的基于GAN的方法[li2019mad, geiger2020tadgan]。最近的方法使用图神经网络来捕获变量间依赖关系[deng2021graph, zhao2020multivariate]，或使用Transformer通过自注意力机制对长时间范围的时间交互进行建模[xu2022anomaly, zhou2021informer]。

尽管这些模型提高了检测能力，但它们通常依赖于计算量大的架构、集中式训练或仔细的优化。这些要求在边缘和物联网环境中难以满足，因为数据分布在设备上，异常稀少且无标签，客户端具有有限的内存、能量和计算能力。这激发了能够捕获时间结构同时保持轻量级的方法。