SMart: 一个多源多阶段时间序列表示迁移框架

# SMart：一个多源多阶段时间序列表示迁移框架  
来源：https://arxiv.org/html/2609.02203  
作者：Fang He, Wang-chien Lee  
所属机构：美国宾夕法尼亚州立大学计算机科学与工程系  
邮箱：[[email protected], [email protected]](mailto:Emails:%[email protected],%[email protected])  
© 无  

###### 摘要  
近年来，时间序列表示学习（TSRL）吸引了越来越多的研究兴趣。TSRL中的两个近期探索方向包括：i）利用基于Transformer的框架学习时间序列；ii）不仅使用目标数据集，还借助其他数据集的时间序列来促进表示迁移。虽然这些探索被证明有效，但（i）中的自监督时间序列恢复任务和（ii）中使用的单一源数据集在技术上较为简单，因此可以通过新思路进行改进。本文提出了一种新的TSRL框架，即**多源多阶段时间序列表示迁移（SMart）**，该框架包含两种新机制以解决上述不足：1）一种**多阶段递归图恢复任务**，提供三种可选模式，指导编码器将时间序列动态嵌入到时间序列表示中；2）一个**源数据集选择器**，用于选择多个合适的源数据集，以补充原始目标数据集进行TSRL编码器的预训练。实验结果表明，在单变量和多变量时间序列数据集上，SMart在时间序列表示学习、分类和回归方面均优于多种先进模型，其中时间序列回归的平均绝对误差降低了最高19.5%，时间序列分类的平均准确率提高了最高1.34%。  

###### 关键词：时间序列，表示学习，迁移学习  

## 1. 引言  
*时间序列*是随时间变化的一系列*观测值*，每个观测值包含一个或多个变量在某个时间点的数值。时间序列数据在现实世界中无处不在，例如随时间变化的水位、人体活动和股票价格，这些数据可以通过数据挖掘任务进行挖掘，如时间序列分类（Denton et al., 2017 (https://arxiv.org/html/2609.02203#bib.bib7)；Villegas et al., 2017 (https://arxiv.org/html/2609.02203#bib.bib37)）、回归（Zerveas et al., 2021 (https://arxiv.org/html/2609.02203#bib.bib41)）、预测（Fortuin et al., 2018 (https://arxiv.org/html/2609.02203#bib.bib14)；Gensler et al., 2016 (https://arxiv.org/html/2609.02203#bib.bib16)）和聚类（Lei et al., 2017 (https://arxiv.org/html/2609.02203#bib.bib23)；Franceschi et al., 2019 (https://arxiv.org/html/2609.02203#bib.bib15)）。为了给各种下游应用提供通用支持，时间序列表示学习（TSRL）旨在学习输入时间序列的表示，将其用作通用特征，已被广泛研究。其中，一些工作专注于为特定类型的时间序列表示学习（Saeed et al., 2019 (https://arxiv.org/html/2609.02203#bib.bib33)；Sarkar and Etemad, 2020 (https://arxiv.org/html/2609.02203#bib.bib34)；Oord et al., 2018 (https://arxiv.org/html/2609.02203#bib.bib32)），而另一些则针对通用时间序列，不限于特定类型（Malhotra et al., 2017 (https://arxiv.org/html/2609.02203#bib.bib29)；Lyu et al., 2018 (https://arxiv.org/html/2609.02203#bib.bib28)；Zerveas et al., 2021 (https://arxiv.org/html/2609.02203#bib.bib41)），这也是我们工作的目标。  
最近，Zerveas等人提出了一种先进的TSRL框架，称为时间序列Transformer（TST），通过一种**自监督时间序列恢复任务**（简称自恢复任务）来学习通用类型时间序列的表示（Zerveas et al., 2021 (https://arxiv.org/html/2609.02203#bib.bib41)）。具体而言，自恢复任务要求TST中的编码器从被掩码的输入时间序列中提取特征作为其表示，然后将该表示输入解码器以恢复输入时间序列的被掩码部分。虽然自恢复任务对TSRL是有效的，但我们认为添加一些有用的解码任务可以进一步挑战编码器，以丰富学习到的表示。因此，本文探索了为TSRL引入额外的自监督任务。  
本工作探索的另一个方面是数据稀疏性问题。许多TSRL框架（包括TST）在训练编码器时都面临这个问题，因为目标数据集中的时间序列数量有限。为了解决这个问题，一些工作利用了**表示迁移**的思想，即借用额外源数据集中的时间序列来预训练一个编码器，用于目标数据集的TSRL。最近，Fawaz等人提出了DTW-FCN，其中设计了一种基于DTW的相似性度量，以找到与目标数据集最相似的源数据集，从而促进表示迁移。然而，手动设计的基于DTW的相似性度量可能无法为特定目标数据集选择有益的源数据集。此外，这些现有工作并未探索**多个源数据集**，而我们认为这可能进一步有益于表示迁移以改进TSRL。  
基于上述观察，我们旨在探索为TSRL引入新的自监督任务以及在TSRL中使用多源数据集进行预训练的思路。为了在一个连贯的TSRL框架中实现这些思路，产生了两个研究问题：1）设计一个具有新的、互补的自监督任务的TSRL模型。参考图1。
**SMart框架**  
我们的方法是挑战所提出的模型，除了恢复时间序列本身，还要恢复时间序列动态。我们注意到递归图（RP）能够揭示时间序列动态，即不同时间点的时间序列状态如何相互关联，因此提出了**递归图（RP）恢复任务**，将时间序列表示解码为RP，以补充自恢复任务。由于在不同阶段构建的RP嵌入了丰富的多粒度时间序列动态，我们设计了三种可选的解码模式，以不同方式正则化学习到的表示，使其能够恢复不同相空间中的RP；2）选择对时间序列表示迁移有益的（多个）源数据集。我们的方法是将源数据集的选择表述为一个二元分类问题：给定一个目标数据集T和一个候选数据集C（用作表示迁移的源），我们训练一个分类器来预测C作为源数据集是否有利于T的TSRL，即是否会提高下游时间序列应用（例如分类和回归）的性能。具体而言，我们提出学习一个基于神经网络的**源选择器**作为分类器。这样，我们可以将每个候选源数据集和目标数据集对输入源选择器，以决定是否选择该候选源数据集进行表示迁移。这里的一个问题是如何将（整个）数据集表示为源选择器的输入。一些工作使用数据集中最具代表性的时间序列表示。然而，数据集中的时间序列可能变化很大（例如，记录在四个季节中的水位时间序列），因此很难找到一个最具代表性的时间序列。为了解决这个问题，我们提出了一个新颖的思路，即使用**编码器参数**作为整个数据集的表示。该思路旨在探索从目标数据集T和候选数据集C中提取有意义特征的方式（由编码器参数表示）之间的相关性，以决定是否将C用作T的表示迁移中的源数据集。我们在源选择器中设计了一个交叉注意力机制，以捕捉编码器参数之间的相关性。  
为了实现上述TSRL思路，我们提出了**多源多阶段表示迁移（SMart）**框架，其流程如图1所示 (https://arxiv.org/html/2609.02203#S1.F1)：  
1) 构建一个自监督的时间序列模型（TM），该模型由一个编码器和几个解码器组成，对应于自恢复任务和RP恢复任务。在TM中，有三种可选的解码模式来恢复各种RP，以捕捉多粒度的时间序列动态；  
2) 学习一个基于交叉注意力的源选择器，捕捉用于源选择的TM的编码器参数之间的相关性；[^1]  
[^1]: 数据集的编码器参数是通过预训练步骤1中构建的TM获得的。  
3) 利用学习到的源选择器为目标数据集选择多个源数据集；  
4) 使用所有选定的源数据集和目标数据集预训练一个TM；  
5) 将步骤4中预训练TM的编码器迁移过来，为目标数据集中的每个时间序列表示生成表示，并构建定制的应用解码器来解码这些表示，以支持下游任务；[^2]  
[^2]: 对于时间序列分类，应用解码器可以是带有softmax函数的线性层；对于回归，可以是线性层。  
6) 对于每个下游应用，微调编码器并一起训练应用解码器。  
我们将SMart与最先进的i）无监督TSRL框架（如TST、DTW-FCN和TS2Vec）以及ii）时间序列分类器和回归器（如ROCKET、Rel-CNN和TimeNet）进行评估。实验结果表明，SMart在时间序列分类和回归方面均优于所有这些基线方法。  
本工作的主要贡献如下：  
- 我们提出了一个新颖的框架SMart，用于TSRL，整合了通过挑战其编码器以丰富时间序列表示来恢复时间序列动态以及使用多个选定的源数据集进行预训练以实现表示迁移的思路。  
- 我们利用多个相空间中的递归图作为额外的解码目标，将多粒度时间序列动态嵌入到时间序列表示中。  
- 我们提出了一种新颖的基于交叉注意力的源选择器，用于选择多个有益的源数据集来预训练时间序列编码器，以便在目标数据集上使用。我们探索了使用编码器参数作为数据集表示。  
- 实证评估表明，SMart显著优于现有技术，回归任务的平均绝对误差（MAE）降低了19.5%，分类任务的准确率具有竞争力地提高了1.34%。  

## 2. 相关工作  
在本节中，我们讨论时间序列分类、回归和表示学习的现有工作。  

### 2.1 时间序列分类和回归  
我们将现有关于时间序列分类和回归的工作分为两类：i）非深度学习方法，包括弹性集成（EE）（Lines and Bagnall, 2015 (https://arxiv.org/html/2609.02203#bib.bib25)）、形状let变换集成（STC）（Hills et al., 2014 (https://arxiv.org/html/2609.02203#bib.bib19)）、随机区间谱集成（RISE）（Flynn et al., 2019 (https://arxiv.org/html/2609.02203#bib.bib13)）、时间序列森林（TSF）（Deng et al., 2013 (https://arxiv.org/html/2609.02203#bib.bib6)）、近邻森林（PF）（Lucas et al., 2019 (https://arxiv.org/html/2609.02203#bib.bib27)）、HIVE-COTE（Lines et al., 2016 (https://arxiv.org/html/2609.02203#bib.bib26)）、TS-CHIEF（Shifaz et al., 2020 (https://arxiv.org/html/2609.02203#bib.bib35)）和ROCKET（Dempster et al., 2020 (https://arxiv.org/html/2609.02203#bib.bib5)），它们设计特征（例如，弹性相似性度量、基于形状let的特征和基于区间的特征）并集成一组模型用于时间序列分类和回归；ii）深度学习模型，包括InceptionTime（Ismail Fawaz et al., 2020 (https://arxiv.org/html/2609.02203#bib.bib20)）、ResNet（Fawaz et al., 2018a (https://arxiv.org/html/2609.02203#bib.bib11)）和Rel-CNN（He et al., 2022 (https://arxiv.org/html/2609.02203#bib.bib17)），它们大多堆叠卷积层以自动提取时间序列挖掘任务的特征。然而，这些工作复杂且难以扩展到具有许多时间序列样本和长时间序列的数据集。此外，将这些工作调整用于其他时间序列应用也不容易。  

### 2.2 时间序列表示学习  
时间序列表示学习（TSRL）近年来吸引了越来越多的研究兴趣（Woo et al., 2022 (https://arxiv.org/html/2609.02203#bib.bib38)；Zerveas et al., 2021 (https://arxiv.org/html/2609.02203#bib.bib41)；Yue et al., 2022 (https://arxiv.org/html/2609.02203#bib.bib40)；Eldele et al., 2021 (https://arxiv.org/html/2609.02203#bib.bib10)；Li et al., 2022 (https://arxiv.org/html/2609.02203#bib.bib24)；Saeed et al., 2019 (https://arxiv.org/html/2609.02203#bib.bib33)；Lei et al., 2017 (https://arxiv.org/html/2609.02203#bib.bib23)）。许多工作专注于为特定任务的时间序列表示学习，例如人体活动识别（Saeed et al., 2019 (https://arxiv.org/html/2609.02203#bib.bib33)）、情感识别（Sarkar and Etemad, 2020 (https://arxiv.org/html/2609.02203#bib.bib34)）和语音时间序列（Oord et al., 2018 (https://arxiv.org/html/2609.02203#bib.bib32)）。然而，这些工作并非为通用类型时间序列设计。此外，Lei等人提出通过捕获两个时间序列在动态时间规整（DTW）方面的相似性来学习时间序列的相似性保持表示（Lei et al., 2017 (https://arxiv.org/html/2609.02203#bib.bib23)）。然而，这些相似性保持表示在分类和回归等时间序列应用中并未显示出优势。  
最近，基于循环神经网络、空洞卷积神经网络或Transformer提出了几种通用类型的TSRL框架。其中，Malhotra等人提出了一种基于多层RNN的时间序列自编码器，以序列到序列的方式重建时间序列（Malhotra et al., 2017 (https://arxiv.org/html/2609.02203#bib.bib29)）。Lyu等人提出了一种带有注意力机制的多层LSTM用于无监督时间序列表示学习（Lyu et al., 2018 (https://arxiv.org/html/2609.02203#bib.bib28)）。Yue等人提出了一种基于空洞卷积神经网络的TS2Vec框架，通过对比学习进行TSRL（Yue et al., 2022 (https://arxiv.org/html/2609.02203#bib.bib40)）。由于Transformer在提取长期特征方面的优势，Zerveas等人提出了TST，这是一个基于Transformer的模型，它将被掩码的输入时间序列编码为其表示，然后将表示解码以恢复输入时间序列的被掩码部分，以便在表示中捕获有用特征（Zerveas et al., 2021 (https://arxiv.org/html/2609.02203#bib.bib41)）。然而，这些最先进的TSRL框架仅使用目标数据集训练编码器，而没有利用额外的数据集来学习更多知识以进行表示迁移。  
在此趋势下，Fawaz等人提出了一种基于DTW的两个数据集之间的相似性度量，旨在选择一个与目标数据集相似的源数据集来预训练一个全卷积网络，然后将其微调用于目标数据集上的应用（Fawaz et al., 2018b (https://arxiv.org/html/2609.02203#bib.bib12)）。然而，它并未利用多个源数据集对TSRL的潜力。  

## 3. 预备知识