用于ESA卫星遥测异常检测的层次化集成管道

# 用于 ESA 卫星遥测数据异常检测的层次集成管道

来源：https://arxiv.org/html/2605.06681
11institutetext:ContinualIST, 比萨, 意大利
22institutetext:比萨大学, 计算机科学系, 比萨, 意大利
22email:l\.allegrini1@studenti\.unipi\.it
22email:geremia\.pompei@\[continualist\.ai,di\.unipi\.it\]

###### 摘要

本文介绍了一种层次集成管道，旨在解决欧洲空间局（ESA）提供的多元遥测数据中的异常检测问题。该方法整合了基于形状特征（shapelet）和统计量的特征提取、逐通道建模、通道内堆叠（stacking）以及最终的跨通道聚合。该管道使用时间序列交叉验证和两级掩码策略进行训练和验证，以防止信息泄露。在欧洲空间局异常检测基准（ESA-ADB）[12 (https://arxiv.org/html/2605.06681#bib.bib1)]挑战赛上的结果表明，该方法具有强大的泛化能力，突显了层次建模在检测真实卫星遥测中细微异常方面的有效性。

## 1 引言

卫星系统在众多关键应用中发挥着基础性作用，包括电信、环境监测和全球导航。然而，太空环境极其恶劣，具有高辐射水平、极端温度以及难以直接进行维护作业的特点。因此，确保卫星正常运行对于避免运营中断和重大经济损失至关重要[5 (https://arxiv.org/html/2605.06681#bib.bib3)]。

卫星运营最关键方面之一是遥测监控，即收集由 onboard 传感器传输的数据以评估系统状态。同时监控 76 个遥测通道中的 58 个，使得及时检测异常成为一项复杂的挑战。异常被定义为遥测数据中非典型、罕见、计划外且不需要的变化[12 (https://arxiv.org/html/2605.06681#bib.bib1)]，它们可能突然出现，如果未能及时检测，可能会危及卫星的稳定性和可操作性。

近年来，机器学习越来越多地应用于卫星异常监控，带来了日益先进和自动化的解决方案。早期的异常检测方法通常依赖于简单的阈值技术，称为超限（Out-of-Limit, OOL）方法，这些方法基于固定值范围标记偏差。随后，经典机器学习技术如聚类和最近邻方法[3 (https://arxiv.org/html/2605.06681#bib.bib2)]对其进行了扩展，这些方法通过特征空间中的密度或距离来建模正常状态。虽然这些方法在某些背景下有效，但计算量大且对相似性指标的选择敏感。

最近，深度学习模型越来越多地应用于异常检测，特别是通过基于预测的方法。在这种设定下，模型被训练以预测时间序列在标称条件下的预期行为。然后通过测量预测值与实际值之间的偏差来检测异常。循环神经网络（RNNs）及其变体如长短期记忆网络（LSTMs）常用于此任务，因为它们能够捕捉时间依赖性[10 (https://arxiv.org/html/2605.06681#bib.bib4)]。然而，这些架构通常存在计算成本高和可扩展性有限的问题，这限制了它们在资源受限或实时环境中的部署。当处理如 ESA-ADB[12 (https://arxiv.org/html/2605.06681#bib.bib1)]这样大规模和复杂的数据集时，这些计算限制变得尤为 problematic。

##### ESA 数据集与挑战概览

本工作在 ESA-ADB[12 (https://arxiv.org/html/2605.06681#bib.bib1)]的任务 1 上进行评估，并专门针对其独特特征进行工程设计。该数据集提供了超过 7 亿条带时间戳的记录，涵盖数百个通道，每个通道对应特定的 onboard 传感器或子系统变量。关键的是，异常被精确标注，从而实现了监督学习，这在太空领域十分罕见。除了遥测数据外，数据集还包括数千条遥控指令，即地面站发出的离散控制信号，这些信号通常与急剧但标称的行为转变相重合。这些引入了模型必须学会处理的强时间依赖性和非平稳性。从统计角度来看，数据提出了多重挑战：不规则采样、由于传输间隙导致的缺失值、通道冗余以及**低异常密度**（1.80%）。此外，数据集包含*标称罕见事件*（例如，重置、校准），这些事件在统计上异常但并非故障指示。这就要求方法优先考虑鲁棒性、精确性和可解释性。ESA 异常检测挑战基于此数据集，要求参与者在现实运营约束下识别异常事件。评估使用校正的事件级 F0.5 分数，该指标通过测量整个事件间隔的检测性能而非每样本准确性来强调精确度。如果检测与任何通道上的真实异常重叠，则计为真阳性；否则，不重叠的检测被视为假阳性。这种方法鼓励系统产生简洁且定位准确的异常预测。完整的指标定义详见 Kotowski 等人[12 (https://arxiv.org/html/2605.06681#bib.bib1)]。重要的是，该挑战不区分真实异常和标称罕见事件。任何足够非典型的模式都必须被标记。这将任务框定为高维遥测中的广义异常检测问题。最后，由于挑战测试集使用*零阶保持*（Zero-Order-Hold, ZOH）插值重采样，训练数据也应用相同的预处理，以确保训练和评估阶段具有相同的时间分辨率和信号语义。

##### 贡献。

本研究的主要贡献包括：一种结合统计和基于形状特征的特征提取与多层次异常检测的层次集成管道；一种防止信息泄露并促进模型多样性的两级掩码策略；以及在 ESA-ADB 挑战赛上的验证，取得了顶尖结果并展示了向真实卫星遥测异常的泛化能力。

## 2 相关工作

所提出的管道*在设计上是混合的*，整合了三个互补阶段：统计分割、基于形状特征的编码和层次集成。每个阶段贡献了独特的表示和处理层，形成了一个结构化的架构，反映了时间序列异常检测中既定的最佳实践。

本节回顾了与这三个组件相关的文献。首先讨论分割和统计特征提取，这是一种广泛用于总结局部时间动态的策略。然后检查基于形状特征的方法，它们通过判别性模式匹配丰富表示。最后考虑多视图和层次集成模型，它们结合不同表示的预测以提高鲁棒性和可解释性。

##### 分割与统计特征

诸如均值、方差、高阶矩、极值甚至短期频谱线索等描述符将局部动态压缩为可解释的低维向量。当这些摘要明显偏离标称分布时，异常便会出现。这一思想在监督和无监督设置中均有效，并已成功应用于多个领域：Bao & Intille 首先将其用于加速度计的活动识别[8 (https://arxiv.org/html/2605.06681#bib.bib12)]，而 Huynh & Schiele 表明窗口大小和特征选择强烈影响准确性[11 (https://arxiv.org/html/2605.06681#bib.bib13)]。在太空领域，基于窗口的统计量仍然 powering 着*操作性的*CNES Nostradamus 监控系统，该系统依赖单类 SVM 进行每日卫星健康检查[7 (https://arxiv.org/html/2605.06681#bib.bib7)]；同样的思想也支撑着 ESA 的 OPSSAT-AD 基准[18 (https://arxiv.org/html/2605.06681#bib.bib8)]，证实了轻量级分割和特征提取管道的实用价值。

##### 形状特征挖掘

为了丰富统计特征，本文中的每个分段还使用基于形状特征的描述符进行编码：即与从时间序列中提取的代表性子序列的距离。Ye 和 Keogh[21 (https://arxiv.org/html/2605.06681#bib.bib9)]最初引入了形状特征，形状特征是最好地区分不同类别的局部模式。Lines 等人[14 (https://arxiv.org/html/2605.06681#bib.bib11)]提出了形状特征变换（Shapelet Transform），将时间序列转换为到一组形状特征的距离的固定长度向量，从而与标准分类器兼容。形状特征也被证明在异常检测中有用，包括监督设置。Beggel 等人[1 (https://arxiv.org/html/2605.06681#bib.bib10)]学习了强调罕见模式的形状特征，从而能够准确检测对标称行为的偏差。

##### 多视图堆叠集成

本文提出的架构遵循结构化的*多视图堆叠*范式，其中时间序列的不同表示由单独的模型处理并层次化聚合。每个基学习器在一个专用视图上操作，它们的输出由捕捉跨视图依赖性的元学习器融合。

多视图学习利用互补的特征集以提高泛化能力，这一原则通过共训练（co-training）或三训练（tri-training）方案[22 (https://arxiv.org/html/2605.06681#bib.bib15)]广泛应用于半监督设置，随后扩展到监督上下文[6 (https://arxiv.org/html/2605.06681#bib.bib16)]。堆叠泛化[19 (https://arxiv.org/html/2605.06681#bib.bib18)]，或称堆叠（stacking），通过训练元模型来最优地结合多样化的基预测器，进一步增强了这一效果。

在异常检测中，Ouyang 等人[15 (https://arxiv.org/html/2605.06681#bib.bib17)]证明了这种方法的有效性，他们提出了一个三阶段集成，通过不同的插补策略构建多个视图，提取层次时间序列特征（HTSF），并应用经典学习器（例如，XGBoost, Random Forest）。最后阶段堆叠这些元模型，在不增加大量计算需求的情况下提高了功耗数据集上的准确性。

## 3 提出方法

针对 ESA-ADB 挑战，本研究引入了**ESA 层次集成管道**，这是一个模块化异常检测框架，结合了统计分割、基于形状特征的时间序列表示、逐通道基学习器、通过堆叠进行的通道间集成以及跨通道聚合器。该通用管道通过整合如形状特征[14 (https://arxiv.org/html/2605.06681#bib.bib11)]、XGBoost[4 (https://arxiv.org/html/2605.06681#bib.bib19)]、逻辑回归[13 (https://arxiv.org/html/2605.06681#bib.bib20)]和 LSTM[9 (https://arxiv.org/html/2605.06681#bib.bib21)]等组件，实现了强大的性能和可复现性。

### 3.1 两级掩码策略

所提出的异常检测框架建立在**层次集成架构**之上。该方法遵循多层结构，逐步将原始多元时间序列转换为异常预测。

见图 1：两级掩码策略。输入时间序列为 $x$，此过程的最终输出为：$x_n$、$\hat{x}_{n,m}$ 和 $\hat{x}_n \setminus \hat{x}_{n,m}$（即原始时间序列 $x$ 减去前两个分段）。重要的是，在训练过程中，应用两级掩码策略来为层次集成模型准备数据。该技术的數據划分与嵌套交叉验证[16 (https://arxiv.org/html/2605.06681#bib.bib25)]相同。两级掩码策略的表示如图 1 (https://arxiv.org/html/2605.06681#S3.F1)所示，其中每个输入时间序列在两个级别的每一步都遵循两个步骤：

1.  **分割**：时间序列被分割为 $N$ 个相同长度的分段（其中 $N$ 是固定分段长度后的分段数量）。分割结果被复制 $N$ 次，创建 $N$ 种不同的配置，
2.  **掩码**：对于每种配置 $n$，第 $n$ 个分段被掩码并从其余数据中分离出来，其余数据将在下一级别处理。

在该过程结束时，应用于输入时间序列 $x$，对于第一级掩码的第 $n$ 种配置和第二级的第 $m$ 种配置，可用以下分段：$x_n$（在第一级掩码的分段）、$\hat{x}_{n,m}$（在第二级掩码的分段，其中 $\hat{x}_n = x \setminus x_n$），以及 $\hat{x}_n \setminus \hat{x}_{n,m}$（时间序列的剩余部分，排除两个被掩码的分段）。

两级掩码策略应用于数据集的每个通道，对于为层次集成模型的前两级准备数据至关重要。特别是，$\hat{x}_{n,m}$ 和 $\hat{x}_n \setminus \hat{x}_{n,m}$ 分别在第一级用于形状特征提取和基模型训练，而 $x_n$ 用于训练通道内堆叠元模型。

通过提供相同数据的不同部分掩码视图，基模型可以专注于输入的不同方面，从各种角度看待它。通过这种方式，该策略确保模型多样性并防止层间信息泄露。此外，对于在给定层训练的每个模型，前一级的所有关联模型都被限制仅使用不包含在其任何相应下一级模型掩码中的数据。这保证了没有训练信息在层间重用，维持了每个阶段使用的特征和预测的独立性。

### 3.2 预处理

在分别应用于每个通道的两级掩码策略之后，提供的时间序列经过不同的预处理步骤：分割、特征提取和池化。整个预处理过程如图 2 (https://arxiv.org/html/2605.06681#S3.F2)所示。理解训练和推理阶段中预处理应用的区别很重要。在训练中，预处理应用于 $\hat{x}_n \setminus \hat{x}_{n,m}$，使用分段 $\hat{x}_{n,m}$（在图 2 (https://arxiv.org/html/2605.06681#S3.F2)中，训练阶段的通用输入时间序列 $s$ 等于 $\hat{x}_n \setminus \hat{x}_{n,m}$）进行每种配置的_shapelet_挖掘并保存提取的_shapelet_。在推理期间，输入时间序列 $s$（推理输入时间序列）使用训练阶段的不同配置进行多次预处理，相对于每个提取的_shapelet_。

见图 2：时间序列预处理步骤。它们包括分割、特征提取和池化。通用输入时间序列是 $s$（训练和推理阶段均适用），而 $f_{n,m}$ 是提取的特征向量，$p_{n,m}$ 是带有池化结果的向量。_Shapelet_挖掘是一个在训练阶段完成的过程