通过自监督跨模态重构实现机械多模态时间序列的鲁棒故障检测

# 基于自监督跨模态重构的机械多模态时间序列鲁棒故障检测
来源：https://arxiv.org/html/2609.16314
\[ orcid = 0009\-0008\-3749\-547X \] 
††要点：通过跨模态重构实现多模态故障检测。无需跨模态采样率同步。基于注意力的融合实现隐式跨模态对齐。在严重的分布外条件下提升鲁棒性。

Magnus Munk Jensen  
magnusmj@es\.aau\.dk  
organization=自动化与控制，奥尔堡大学，city=奥尔堡，country=丹麦

Rafał Wiśniewski  
Olga Fink  
organization=智能维护与运营系统，洛桑联邦理工学院，city=洛桑，country=瑞士

###### 摘要
故障检测在工业系统中至关重要，它能实现对异常行为的早期识别，并提高安全性、可靠性和运行效率。现代工业系统越来越多地使用异构传感模态来捕捉底层物理过程的互补方面。然而，现有的数据驱动异常检测方法通常独立处理每个模态，或依赖简单的特征级融合，未能利用表征正常系统行为的跨模态关系。其性能也常常假设训练和部署分布相似。在实际中，变化的工作条件、多样的环境影响以及系统退化会导致分布偏移，这可能会显著降低整体检测性能，尤其是在未见的工作状态下。因此，开发既能利用跨模态信息又能在此类偏移下保持鲁棒的多模态异常检测方法仍是一个重大挑战。

在本工作中，我们提出了一种基于异构时间序列传感器数据跨模态重构的多模态异常检测框架。该方法不是独立建模每个传感模态，而是通过从其他模态重构每个模态来学习系统动态，从而利用传感器测量间的互补信息。这种方法整合了跨传感通道的信息，无需显式时间对齐或相同采样率，同时提高了对传感器噪声、缺失测量和模态特定干扰的鲁棒性。为解决实际部署中的分布偏移，异常通过跨模态重构误差和一个适应变化工作条件的自适应测试时阈值机制来识别。在三个工业案例研究上的实验表明，该框架持续实现了强劲的故障检测性能，并在分布外条件下显著提高了鲁棒性，在最具挑战性的工作状态下收益最大。

###### 关键词
无监督，多模态，故障诊断，连续测试时适应

††通讯作者：通讯作者
††致谢：Magnus 设计了方法，进行了研究，并负责数据整理、形式分析、验证和可视化。Magnus 撰写了稿件初稿。
††致谢：Dorte Hammershøi 远程共同指导了该研究，并参与了局限性和泛化性的讨论等。
††致谢：Rafal 远程指导了研究。Rafal 参与了方法设计和研究。
††致谢：Olga 邀请第一作者作为访问博士，并指导了研究。Olga 参与了方法设计、研究并提供了资源。所有作者均审阅并编辑了稿件，并批准了最终发表版本。

## 1 引言
可靠的故障检测对于工程系统的安全高效运行至关重要，因为早期识别初始故障有助于防止故障、减少计划外停机并提高运行可靠性。然而，准确区分故障与正常运行变化仍然具有挑战性，因为系统行为本质上依赖于运行条件。速度、负载、温度和环境条件等因素的变化会显著改变观测到的传感器测量值，使得在实践中遇到的各种工作条件下区分健康系统行为与故障引起的偏差变得困难（Chen 等, 2020）(https://arxiv.org/html/2609.16314#bib.bib19)。因此，有效的故障检测需要能够区分故障引起的偏差与由不同工作条件引起的传感器测量变化的模型。

无模型方法因其在传感能力改进和监测数据日益丰富（Fink 等, 2020 (https://arxiv.org/html/2609.16314#bib.bib17); Xu 和 Saleh, 2021 (https://arxiv.org/html/2609.16314#bib.bib18)）而日益突出。然而，这些方法通常依赖于能够充分覆盖运行期间遇到条件的训练数据（Hu 等, 2022 (https://arxiv.org/html/2609.16314#bib.bib20)）。这一假设在实践中很少成立。工业系统在不断变化的工作状态、环境条件和渐进式系统退化下运行，导致训练和部署数据之间存在分布偏移，这可能显著降低故障检测性能，尤其是在以前未见的工作条件下。因此，开发在此类分布偏移下仍保持可靠的故障检测方法仍是一个重大挑战。

现有的故障检测方法试图通过学习不变表示或在有新数据时适应模型来提高鲁棒性（Michau 和 Fink, 2021 (https://arxiv.org/html/2609.16314#bib.bib8); Sun 和 Fink, 2026 (https://arxiv.org/html/2609.16314#bib.bib27); Michau 和 Fink, 2019 (https://arxiv.org/html/2609.16314#bib.bib9)）。虽然这些策略可以提高鲁棒性，但基于适应的方法需要在部署期间更新模型参数，使其性能依赖于适应过程的假设和测试时数据的特征。

除了通过适应提高鲁棒性外，现代工业系统越来越多地配备多种异构模态，包括振动、声学、电气、热学和过程测量，每种都捕捉底层系统动态的不同方面。原则上，联合利用这些互补的观测结果能够比任何单一模态更完整地刻画底层系统动态。然而，由于单个模态在统计和结构特征上的差异，从异构多模态数据中有效学习仍然具有挑战性，需要有效的融合策略（Zhao 等, 2024 (https://arxiv.org/html/2609.16314#bib.bib16)）。在工业监测中，这些差异通常表现为不同的采样频率、噪声特性、时间分辨率和失效机制。许多现有的多模态方法要么独立处理模态，要么在决策层进行融合，限制了它们学习能够捕捉系统共享物理行为的跨模态一致表示的能力（Zhao 等, 2024 (https://arxiv.org/html/2609.16314#bib.bib16)）。此外，相对较少的现有方法明确建模传感模态间的关系在变化的工作条件下如何演变，这可能会降低对分布偏移的鲁棒性。

因此，多模态模型不仅必须学习有效的跨模态表示，还必须确保这些表示在不同域之间保持不变，同时保留互补的模态特定信息。多模态域泛化（Multi Modal Domain Generalization）通过从多个源域和模态中学习，以泛化到未见的目标域而无需目标域适应，来解决这个问题。与单模态域泛化相比，MMDG 必须考虑模态相关的分布偏移，同时跨传感模态建模共享和模态特定的信息（Dong 等, 2026 (https://arxiv.org/html/2609.16314#bib.bib41)）。最近的方法如 SimMMDG 明确地解耦了模态共享和模态特定的表示，并采用跨模态翻译来改善域泛化和对缺失模态的鲁棒性（Dong 等, 2023 (https://arxiv.org/html/2609.16314#bib.bib47)）。尽管如此，这些方法在工业状态监测中的应用有限，因为异步的异构传感器通常具有不同的可靠性特征，并经历跨模态变化的域偏移。

因此，尽管多模态传感日益普及，现有的异常检测方法通常孤立地解决多模态表示学习或分布偏移鲁棒性问题。据我们所知，目前没有框架能同时（i）利用异构和异步传感器测量来学习系统动态的统一表示，并且（ii）在严重的分布外工作条件下保持鲁棒性。

为填补这一空白，我们提出了一种用于时间序列故障检测的多模态框架，该框架利用异构传感器测量来学习底层系统动态的共享表示。该方法基于跨模态重构，其中每个模态从其他模态推断，使模型能够捕捉跨传感模态的一致行为，同时整合互补信息，无需同步采样或显式时间对齐。该架构结合了模态特定的编码器和基于注意力的潜在对齐，使其能够直接处理原始时间序列，并提高对传感器噪声和缺失数据的鲁棒性。该模型不依赖于单个传感器测量，而是学习正常系统行为的底层跨模态一致性，使其对工作条件变化的敏感性远低于传统的基于重构的方法。

在推理过程中，异常通过跨模态重构误差和一个自适应测试时阈值来检测，该阈值补偿非平稳工作条件并提高对分布偏移的鲁棒性。

本文其余部分组织如下。第2节 (https://arxiv.org/html/2609.16314#S2) 介绍相关工作，第3节 (https://arxiv.org/html/2609.16314#S3) 描述预备知识，第4节 (https://arxiv.org/html/2609.16314#S4) 描述提出的方法，第5节 (https://arxiv.org/html/2609.16314#S5) 详述实验设置，第6节 (https://arxiv.org/html/2609.16314#S6) 展示结果，第7节 (https://arxiv.org/html/2609.16314#S7) 进行讨论，第8节 (https://arxiv.org/html/2609.16314#S8) 总结全文。

## 2 相关工作
### 2\.1 分布偏移下的故障检测
故障预测与健康管理旨在通过实现故障的早期检测、其根本原因的准确诊断以及剩余使用寿命的预测，来提高工程系统的可靠性和可用性（Fink 等, 2020 (https://arxiv.org/html/2609.16314#bib.bib17)）。在实践中，开发数据驱动的故障检测方法尤其具有挑战性，因为代表性的故障数据本身就很稀缺。有监督故障检测方法的发展从根本上受到有限可用的代表性故障数据的制约。工业资产被设计为可靠运行，导致故障仅偶尔发生，而渐进式退化通常跨越数月或数年，直至最终形成可观察到的故障。因此，监测数据绝大多数由健康运行条件主导，导致严重的类别不平衡和用于监督学习的故障样本不足。结果，无监督异常检测已成为工业故障检测的主流范式（Michau 等, 2017 (https://arxiv.org/html/2609.16314#bib.bib7); Liu 等, 2018 (https://arxiv.org/html/2609.16314#bib.bib45)）。现有方法通常从标称运行数据中学习健康系统行为的模型，并将异常识别为偏离这种学到的表示。

根据健康行为的建模方式，这些方法大致可分为一类分类、概率建模和基于重构的方法（Hsu 等, 2023 (https://arxiv.org/html/2609.16314#bib.bib40)）。一类方法，包括支持向量数据描述（Tax 和 Duin, 2004 (https://arxiv.org/html/2609.16314#bib.bib25)）、一类支持向量机（Manevitz 和 Yousef, 2002 (https://arxiv.org/html/2609.16314#bib.bib26)）及其深度变体，如深度支持向量数据描述（Ruff 等, 2018 (https://arxiv.org/html/2609.16314#bib.bib33); Frusque 等, 2024 (https://arxiv.org/html/2609.16314#bib.bib6)），学习紧凑的决策边界将健康观测与潜在异常分开。概率方法则估计健康观测的概率分布，并根据其在学到的分布下的似然性识别异常样本（Ruff 等, 2021 (https://arxiv.org/html/2609.16314#bib.bib42)）。基于重构的方法，包括自编码器（Sakurada 和 Yairi, 2014 (https://arxiv.org/html/2609.16314#bib.bib21)）、变分自编码器（Iqbal 和 Qureshi, 2023 (https://arxiv.org/html/2609.16314#bib.bib24); Chao 等, 2021 (https://arxiv.org/html/2609.16314#bib.bib5)）、掩码自编码器（He 等, 2022 (https://arxiv.org/html/2609.16314#bib.bib23)）和生成对抗网络（Schlegl 等, 2017 (https://arxiv.org/html/2609.16314#bib.bib22)），假设仅在健康数据上训练的模型能够准确重构标称运行条件，而有故障的观测会产生升高的重构误差，作为异常分数。

尽管方法不同，但这些方法都有一个共同的假设：部署期间遇到的健康观测的分布被训练数据充分代表。然而，在实践中，工业系统在不断变化的负载、环境条件、控制策略和渐进式退化下运行，即使在没有故障的情况下也会导致显著的分布偏移（Fink 等, 2020 (https://arxiv.org/html/2609.16314#bib.bib17)）。因此，工作条件的变化可能产生无法与真实故障区分的重构误差或决策边界违反，导致误报增加和检测可靠性降低。因此，开发在分布偏移下仍保持鲁棒的异常检测方法仍是一个根本性挑战。

### 2\.2 分布偏移下的鲁棒表示学习
为了解决工作条件变化的问题，大量研究集中在学习能够跨域泛化的表示。域适应通过对抗学习、差异最小化或自训练来对齐源域和目标域分布（Pan 和 Yang, 2010 (https://arxiv.org/html/2609.16314#bib.bib28); Wang 和 Deng, 2018 (https://arxiv.org/html/2609.16314#bib.bib29); Ganin 等, 2016 (https://arxiv.org/html/2609.16314#bib.bib30)）。在PHM领域，几种方法已成功利用对抗特征对齐和无监督适应跨工作条件转移知识（Michau 和 Fink, 2021 (https://arxiv.org/html/2609.16314#bib.bib8); Sun 和 Fink, 2026 (https://arxiv.org/html/2609.16314#bib.bib27); Michau 和 Fink, 2019 (https://arxiv.org/html/2609.16314#bib.bib9)）。