DCRA：基于扩散条件的表示对齐以提升时间序列学习的鲁棒性

# DCRA：基于扩散条件表征对齐的鲁棒时间序列学习
来源：https://arxiv.org/html/2609.11997
###### 摘要

在噪声和分布偏移下学习时间序列信号的鲁棒表征仍然具有挑战性，尤其是在脑电图（EEG）和心电图（ECG）分析等临床应用中。我们提出了**扩散条件表征对齐**（DCRA），这是一种训练框架，将前向扩散过程重新用作表征学习的结构化破坏调度器。与依赖独立采样扰动的传统增强和基于一致性方法不同，DCRA通过扩散前向过程引入了一条结构化破坏轨迹，使得表征能够跨越不同噪声水平进行连续且可控的演化。我们引入了一个特征级一致性目标，该目标在保持类别区分结构的同时，对齐不同噪声水平下的表征。这种机制促进了保持结构的一致性，从而能够在潜在空间中实现平滑且语义连贯的特征轨迹。所提出的框架与编码器无关，可以与状态空间模型和Transformer架构集成。在CHB-MIT EEG数据集上的癫痫检测实验表明，DCRA在多种噪声条件下持续提升性能，并在低假阳性率下实现更高的灵敏度。分析表明，与基线模型和仅使用扩散的模型相比，DCRA生成的表征更加平衡和结构化。这些发现突显了将结构化破坏与表征对齐相结合用于鲁棒时间序列学习的益处。

明尼苏达大学双子城分校
\{xu000424, enana003, parhi\}@umn\.edu

## 引言

在噪声和分布偏移下，针对长时间序列数据的鲁棒表征学习仍然是一个持续存在的挑战。在现实和临床场景中，时间序列信号（如脑电图和心电图记录）通常会被噪声、伪影和分布偏移所破坏。可靠的时间序列数据建模和泛化能力在应对这些破坏时面临困难。这个问题在EEG分析中尤为关键，因为EEG信号会受到肌肉伪迹、眼球运动、基线漂移（Islam等人2016 (https://arxiv.org/html/2609.11997#bib.bib22)）、电极位移以及不同机构间记录差异（Obeid和Picone 2016 (https://arxiv.org/html/2609.11997#bib.bib23)）的污染。这些混淆因素可能影响信号形态和时间动态，导致特征表征不稳定。对于癫痫检测等临床应用，模型的鲁棒性是评估模型性能的重要标准。模型必须在严格的假阳性率（FPR）约束下，即使在低信噪比（SNR）条件下，也要保持高灵敏度。然而，现代序列编码器，如卷积神经网络、Transformer和状态空间模型（SSM），在暴露于低SNR条件（Zhang等人2021 (https://arxiv.org/html/2609.11997#bib.bib28)）或分布偏移时，常常表现出显著的性能下降。

噪声增强已被广泛用于提高模型的泛化能力和鲁棒性（Hendrycks等人2021 (https://arxiv.org/html/2609.11997#bib.bib5)），但传统方法通常将噪声视为独立的扰动（Cubuk等人2020 (https://arxiv.org/html/2609.11997#bib.bib8);Zhang等人2017 (https://arxiv.org/html/2609.11997#bib.bib9)），而不强制表征不变性。因此，编码器会过拟合于特定的破坏模式，而不是在不同噪声水平下保持一致的特征。基于物理信息的扩散模型的最新进展开始解决缺乏建模结构化破坏轨迹的根本机制的问题。扩散概率模型（DPM）（Sohl-Dickstein等人2015 (https://arxiv.org/html/2609.11997#bib.bib3)）通过前向噪声动力学提供了一个多尺度破坏过程。尽管扩散模型主要是为生成建模而开发的，但其前向过程定义了一个结构良好的渐进信号退化系列，涵盖不同的噪声尺度。这一观察引出了一个关键问题：

**我们能否将扩散前向过程重新用作破坏调度器，来学习用于判别性时间序列任务的抗噪声表征？**

在本文中，我们提出了**扩散条件表征对齐**（DCRA），这是一个与编码器无关的训练框架，它利用基于扩散的破坏和特征级一致性。与依赖反向去噪或生成式重建的先前扩散方法不同，我们利用前向扩散过程作为结构化破坏调度器，旨在为编码器提供同一输入信号的多个破坏版本。随后，引入一个表征对齐目标，以鼓励干净和破坏后的信号在潜在特征中产生抗噪声、语义一致且具有类别区分性的表征。

我们使用广泛使用的临床EEG基准CHB-MIT（Guttag 2010 (https://arxiv.org/html/2609.11997#bib.bib24)）数据集，采用ROC-AUC（AUC）、PR-AUC以及在固定FPR下的灵敏度来评估所提出的框架。实验结果表明，在多个噪声水平下鲁棒性得到提升，并且在低FPR率下灵敏度增强。这些发现表明，将结构化破坏建模与潜在特征对齐相结合，为鲁棒表征学习提供了一种有效的策略。本文的主要贡献总结如下：

- • 我们引入了一种新颖的训练框架，利用前向扩散过程作为时间序列表征学习的结构化多尺度破坏调度器。
- • 我们提出了一种特征级一致性机制，强制在潜在空间中保持干净信号与破坏后信号的一致性。
- • 我们展示了在多个噪声水平下，在临床上有区别的EEG基准数据上，模型鲁棒性和固定FPR灵敏度的提升。

本文的组织结构如下。第二节回顾了表征学习、用于结构化破坏的扩散模型以及癫痫检测的相关工作。第三节介绍了状态空间模型和扩散概率模型的基础知识。第四节展示了所提出的训练框架。第五和第六节讨论了实验设置和结果。

## 相关工作

### 通过数据增强和一致性正则化的表征学习

数据增强技术已被广泛用于提高深度学习模型的泛化能力和鲁棒性，方法是在训练期间注入扰动。在计算机视觉和图像处理领域，自动增强策略，如AutoAugment（Cubuk等人2018 (https://arxiv.org/html/2609.11997#bib.bib7)）和RandAugment（Cubuk等人2020 (https://arxiv.org/html/2609.11997#bib.bib8)），系统地搜索能提升模型性能的数据增强策略。Mixup（Zhang等人2017 (https://arxiv.org/html/2609.11997#bib.bib9)）正则化通过插值训练样本来提高对对抗样本的鲁棒性并稳定训练。超越这些经验性的增强技术，一些工作引入了约束条件以在表征域中强制稳定性。对比学习框架，包括SimCLR（Chen等人2020 (https://arxiv.org/html/2609.11997#bib.bib10)）和MoCo（He等人2020 (https://arxiv.org/html/2609.11997#bib.bib11)），通过最大化不同增强视图表征之间的一致性来学习不变特征。类似地，半监督方法，如Mean Teacher（Tarvainen和Valpola 2017 (https://arxiv.org/html/2609.11997#bib.bib12)）和FixMatch（Sohn等人2020 (https://arxiv.org/html/2609.11997#bib.bib13)），在随机扰动下引入一致性正则化。这些方法与自我训练范式密切相关，其中模型被鼓励在扰动输入或伪标签（Xie等人2020 (https://arxiv.org/html/2609.11997#bib.bib15)）上产生稳定的预测。实证研究表明，基于一致性方法的有效性取决于扰动的设计和评估协议（Oliver等人2018 (https://arxiv.org/html/2609.11997#bib.bib16)）。然而，大多数这些方法将扰动视为独立的变换，而不是将破坏建模为结构化轨迹。相比之下，我们提出的框架采用基于扩散的破坏过程，该过程生成具有不同噪声水平的降级信号，并沿着结构化路径强制跨噪声的表征空间对齐。

### 用于结构化破坏的扩散模型

扩散模型，如去噪扩散概率模型（DDPM）（Ho等人2020 (https://arxiv.org/html/2609.11997#bib.bib4)）和基于分数的生成建模（Song等人2020 (https://arxiv.org/html/2609.11997#bib.bib6)）。扩散主要用于生成建模，但最近的研究，包括基于扩散的表征学习（DRL）（Mittal等人2023 (https://arxiv.org/html/2609.11997#bib.bib14)），已经探索了其在表征学习和鲁棒性方面的潜力。大多数先前工作依赖于反向去噪过程或生成式重建。相比之下，DCRA框架采取了不同的视角，我们利用前向过程作为结构化噪声调度器，并将其直接纳入监督学习目标。所提出的框架将扩散从一个生成建模工具转变为一种训练策略，该策略沿着结构化的扩散轨迹约束表征，从而提供了对跨噪声水平特征演化的控制。

### 癫痫检测

生理信号（包括EEG和ECG）分类的鲁棒性对于癫痫检测和心律失常检测等临床应用至关重要。深度学习模型，包括CNN、循环网络和Transformer，在EEG癫痫检测中取得了强大的性能（Lawhern等人2018 (https://arxiv.org/html/2609.11997#bib.bib25);Bashivan等人2015 (https://arxiv.org/html/2609.11997#bib.bib26);Song等人2022 (https://arxiv.org/html/2609.11997#bib.bib27)）。虽然现有研究通常采用启发式增强或伪影去除来提高鲁棒性，但它们很少强制在多个破坏水平下保持表征一致性。我们的框架通过结构化扩散条件和跨噪声表征正则化来解决这一限制。

## 背景

在本节中，我们回顾支撑我们所提框架的关键组件的理论基础，包括状态空间模型和扩散概率模型，它们构成了我们所提架构的概念基础。

### 状态空间模型与Mamba

状态空间模型（SSM）通过根据线性动力学系统演化的潜在状态来建模序列动态（Gu等人2020 (https://arxiv.org/html/2609.11997#bib.bib1)）。给定输入x\(t\)x\(t\)，隐藏状态h\(t\)h\(t\)和输出y\(t\)y\(t\)定义为

h ̇\(t\)=Ah\(t\)\+Bx\(t\),y⁡\(t\)=Ch\(t\)\\dot\{h\}\(t\)=\\mathbf\{A\}h\(t\)\+\\mathbf\{B\}x\(t\),\\quad y\(t\)=\\mathbf\{C\}h\(t\)

其中A\\mathbf\{A\}, B\\mathbf\{B\}, 和C\\mathbf\{C\}分别表示状态转移矩阵、输入矩阵和输出矩阵。在实践中，为了处理离散、高频的神经序列，如iEEG（Puah等人2025 (https://arxiv.org/html/2609.11997#bib.bib21)）和ECG（Qiang等人2024 (https://arxiv.org/html/2609.11997#bib.bib20)）信号，使用零阶保持（ZOH）规则对连续系统进行离散化。

Mamba（Gu和Dao 2024 (https://arxiv.org/html/2609.11997#bib.bib2)）通过引入基于选择性扫描机制的依赖于输入的状态更新，推动了标准SSM的发展。与Transformer架构相比，Mamba在序列长度上实现了线性计算复杂度，同时保持了强大的长程建模能力，这使其适用于长时间、高频时间序列数据分析。

### 扩散概率模型与扩散模型

扩散概率模型（DPM）通过在多个时间步长上添加高斯噪声来逐步破坏干净数据（Sohl-Dickstein等人2015 (https://arxiv.org/html/2609.11997#bib.bib3)）。遵循方差保持马尔可夫链，任何时间步t∈\[0,T\]t\\in\[0,T\]处的中间潜在变量xtx\_\{t\}采样封闭表达式为：

xt=α ̄tx0\+1−α ̄tε,ε∼N⁡\(0,I\),x\_\{t\}=\\sqrt\{\\bar\{\\alpha\}\_\{t\}\}x\_\{0\}\+\\sqrt\{1\-\\bar\{\\alpha\}\_\{t\}\}\\epsilon,\\quad\\epsilon\\sim\\mathcal\{N\}\(0,\\mathbf\{I\}\), (1)

其中α ̄t=∏i=1tαi\\bar\{\\alpha\}\_\{t\}=\\prod\_\{i=1\}^\{t\}\\alpha\_\{i\}是\{αi\}s\\\{\\alpha\_\{i\}\\\}的累积乘积，且αt=1−βt\\alpha\_\{t\}=1\-\\beta\_\{t\}表示噪声调度。前向过程方差项\{βt\}t=1T\\beta\_\{t\}\\\}\_\{t=1\}^\{T\}控制注入噪声的幅度。与学习反向去噪的生成式扩散模型不同，DCRA仅使用前向扩散过程作为结构化破坏调度器，鼓励编码器学习在变化信噪比（SNR）下保持稳定的抗噪声表征。

（此处应有图示说明，原文为引用图表）图1：所提出的用于时间序列分析的扩散条件表征对齐（DCRA）框架概述。该模型集成了双时间步扩散过程和共享编码器，以学习跨越多个破坏水平的抗噪声表征。一个扩散条件（DC）编码器（例如双向Mamba）按顺序处理干净和带噪声的信号，并加入时间步嵌入以捕获长程时间依赖性。该框架通过结合监督分类损失和跨噪声一致性正则化的混合目标进行训练，以强制实现抗噪声表征和具有类别区分性的潜在结构。

## 方法论

在本节中，我们提出扩散条件表征对齐（DCRA）框架，如图1（https://arxiv.org/html/2609.11997#Sx3.F1）所示。给定一个输入信号，通过在不同噪声水平下的前向扩散生成两个破坏视图，并由一个共享的扩散条件编码器进行处理。模型使用监督分类和跨噪声一致性正则化进行优化，鼓励沿着扩散轨迹产生鲁棒且具有类别区分性的表征。

### 双时间步扩散引擎

对于输入信号X∈RC×LX\\in\\mathbb\{R\}^\{C\\times L\}，其中C为通道数，L为输入长度，使用前向扩散过程Xt=α ̄tX\+1−α ̄tεX\_\{t\}=\\sqrt\{\\bar\{\\alpha\}\_\{t\}\}X\+\\sqrt\{1\-\\bar\{\\alpha\}\_\{t\}\}\\epsilon生成两个破坏视图，其中ε∼N⁡\(0,I\)\\epsilon\\sim\\mathcal\{N\}\(0,I\)且α ̄t\\bar\{\\alpha\}\_\{t\}由预定义的噪声调度决定。该公式提供了一个由时间步t索引的结构化破坏过程，而不是独立的扰动，允许在不同噪声水平下受控地生成降级信号。然后，我们引入双时间步采样策略，以强制在不同噪声强度下的鲁棒性。对于每个样本X，采样两个时间步：t1∈\[0,Tthres\], t2∈\[Tthres,T\]t\_\{1\}\\in\[0,T\_\{thres\}\],\ t\_\{2\}\\in\[T\_\{thres\},T\]