SRT：基于解耦校正流的时间序列超分辨率

# SRT: 基于解缠整流流的时间序列超分辨率

来源：<https://arxiv.org/html/2606.07605>

鞠方端，肖胜龙 & 张宇仁  
字节跳动  
{duanjufang,xiaoshenglong,zhangyuren}@bytedance.com  

###### 摘要  
高时间分辨率的细粒度时间序列数据对于广泛应用的精确分析至关重要。然而，获取此类数据通常受到成本和可行性的限制。可以通过基于特定先验从低分辨率输入重建高分辨率信号来解决这一问题，这被称为超分辨率。虽然超分辨率在计算机视觉中已被广泛研究，但直接将图像超分辨率技术迁移到时间序列并非易事。为从根本上应对这一挑战，我们提出了**时间序列超分辨率（SRT）**，这是一种新颖的框架，通过解缠整流流重建低分辨率输入中丢失的时间模式。SRT 将输入分解为趋势和季节成分，利用隐式神经表示将其对齐到目标分辨率，并引入一种新颖的跨分辨率注意力机制来指导高分辨率细节的生成。我们进一步推出了 SRT-large，这是一个扩展版本，经过大规模预训练，具备强大的零样本超分辨率能力。在九个公开数据集上的大量实验表明，SRT 和 SRT-large 在多个缩放因子下均持续优于现有方法，展现出稳健的性能以及架构中每个组件的有效性。

## 1 引言

细粒度、高分辨率时间序列数据的可用性对于众多领域下游分析和决策的准确性与有效性至关重要。例如，在医疗健康领域，高分辨率心电图信号对于检测在低频记录中往往被掩盖的细微但临床关键的心律失常有重要意义 (Kachuee 等，2018；Hannun 等，2019)。类似地，在工业物联网中，以千赫兹速率采样的振动数据显著提高了机械预测和早期故障检测的精度 (Zhao 等，2017；Lei 等，2020)。气候学领域也严重依赖时间稠密的数据来建模复杂的天气现象和极端事件 (Sillmann 等，2017；David 等，2022)。然而，获取此类高分辨率数据常常受到特定领域约束的阻碍，包括设备电池寿命有限、通信带宽、存储成本和计算开销 (Dai 等，2020)。这些限制共同使得持续采集高分辨率数据在经济上不可行或物理上不可能，导致粗采样或聚合的时间序列广泛存在。

为解决这一问题，我们旨在开发一种从现有低分辨率输入生成高分辨率数据的方法。此类方法在计算机视觉领域已被广泛研究，称为图像超分辨率，它利用生成对抗网络 (Ledig 等，2017)、扩散模型 (Li 等，2022) 和流匹配 (Lugmayr 等，2020) 等技术，从低分辨率对应图像合成视觉上逼真的高分辨率图像。类似于图像超分辨率，我们试图设计一种时间序列超分辨率（TSSR）方法，用于在连续观测点之间生成值，从而将低时间分辨率的时间序列映射为高时间分辨率的时间序列。

尽管将图像超分辨率技术应用于时间序列在概念上具有吸引力，但由于两种数据类型之间的内在差异，存在根本性挑战。首先，控制自然图像的先验与时间序列所需的先验存在根本性不同。其次，数据维度差异显著，且需要放大的轴也不相同。这些差异给直接应用图像超分辨率方法带来了独特的挑战，因此其性能往往不尽如人意。

另一方面，时间序列中缺失值的生成任务在插补文献中已有广泛研究 (Tashiro 等，2021；Yıldız 等，2022；Duan 等，2024)。这些工作与 TSSR 共享一个高层目标，即基于观测上下文推断合理的数据点。然而，关键区别在于缺失的性质。插补通常处理原始高分辨率序列中任意缺失的点，而 TSSR 旨在从系统降采样的输入中合成一个本质上为高分辨率的信号。因此，尽管插补常常可以依赖局部平滑性或全局一致性等假设，TSSR 必须生成可信的高分辨率成分，例如尖锐的峰值或瞬态振动，而这些在低分辨率输入中是缺失的。这一区别使得 TSSR 成为更具挑战性和研究不足的问题，需要更强大的生成模型和更具信息量的先验来指导合理高分辨率细节的合成。

![参见标题 (a) 低分辨率时间序列](https://arxiv.org/html/2606.07605) 参照标题 (b) IDM 参照标题 (c) FTS-Diff 参照标题 (d) SRT  
图 1：来自交通领域一个片段的定性结果。与图像超分辨率和时间序列生成模型中的领先方法相比，我们的 SRT 在平稳和波动阶段都更忠实地重建了高分辨率真实值的整体轮廓。

基于上述挑战，我们首先根据低分辨率数据的生成方式，正式区分了两种基本类型的 TSSR 问题，即采样超分辨率（SSR）和聚合超分辨率（ASR），其核心挑战有显著不同。SSR 必须从欠采样序列中重建缺失的样本，而 ASR 则必须将一个聚合值分配到其细粒度组成中。这使得 ASR 本质上更具模糊性和不适定性，因为原始的高频分布完全丢失，只留下一个统计摘要。

为了在一个统一框架中应对这些双重挑战，我们提出了**时间序列超分辨率（SRT）**，其关键思想是通过时间序列分解来解缠基于整流流的超分辨率过程，并利用从低分辨率序列中提取的信息性线索来指导高分辨率细节的生成。具体而言，我们的 SRT 框架通过一个结构化的流程运行。首先，输入的低分辨率序列被分解为趋势和周期成分。然后，这些成分通过隐式时间函数（ITF）在时间上对齐到目标尺度，该函数采用连续隐式神经表示，作为一个通用且可学习的插值器。随后，使用两个独立的整流流模型来生成残差高分辨率细节，一个用于趋势成分，另一个用于周期成分。这种双路径设计不仅捕捉了不同的时间动态，还通过分离两个成分对最终输出的贡献来增强可解释性。为了有效融合来自 ITF 的时间对齐条件并预测控制状态转换的速度场，我们引入了一种新颖的跨分辨率注意力（CRA）机制，位于一个仅解码器的速度预测器中。通过整合分解、连续对齐和条件生成，SRT 有效约束了解空间，使得 SSR 和更具挑战性的 ASR 任务都能实现高保真重建。大量实验表明，SRT 在逐点准确性和整体准确性上均优于基线，并且在重建高分辨率细节方面表现更佳。此外，我们通过消融研究验证了每个组件的有效性，实验结果证实所提出的速度预测器显著提升了整体模型性能。我们的结果预览如图 1 所示。

除了上述标准 SRT，我们进一步扩展模型以应对某些 TSSR 场景中无法获取高分辨率时间序列的挑战。具体而言，我们提出了 SRT-large，该模型具备零样本超分辨率能力。与标准版本相比，SRT-large 显著增加了参数量，并在多个领域的大规模数据集上进行了预训练，使模型能够泛化到未见过的时间序列类型，并在无需高分辨率训练样本的情况下执行超分辨率。实验证据表明，即使在零样本设置下，SRT-large 在多个数据集上也达到了最先进的性能。此外，它在不同缩放因子下提供了比基线更一致的结果。

我们的主要贡献可以总结为以下四个部分。(1) 我们正式定义了两种时间序列超分辨率（TSSR）问题子类型。此外，我们提出了评估 TSSR 任务性能的标准化评估协议和实验工作流程，可作为该领域未来研究的基准。(2) 我们引入了 SRT 模型，该模型利用时间序列分解和整流流。该框架包含用于条件生成的隐式时间函数（ITF）和用于粗粒度与细粒度时间序列之间多分辨率特征融合的速度预测器。(3) 我们将标准 SRT 扩展为 SRT-large，通过增加模型容量并在多个领域进行大规模预训练，使其具备零样本 TSSR 能力。(4) 大量实验证明了我们提出方法的有效性。每个核心组件，包括 ITF、CRA 和解缠，都对整体性能有积极贡献。

## 2 相关工作

超分辨率（SR）一直是计算机视觉中的一个基本问题，旨在从低分辨率对应图像重建高分辨率图像。近年来，方法经历了快速进展，从传统的卷积 (Dong 等，2014) 和基于 GAN 的方法 (Ledig 等，2017；Wang 等，2018) 转向更强大的生成模型。扩散模型，包括 SR3 (Saharia 等，2022)、CDM (Ho 等，2022)、LDM (Rombach 等，2022) 和 SRDiff (Li 等，2022)，利用迭代去噪实现高质量重建。流匹配及其变体通过对齐生成过程与数据分布，进一步提升了样本效率和质量 (Lugmayr 等，2020；Liang 等，2021)。特别是整流流框架，提供了改进的收敛性和样本质量，为 SR 研究提供了新视角 (Zhu 等，2024)。尽管上述方法已显示出巨大效果，但将这些方法从 CV 直接迁移到时间序列往往产生不令人满意的结果，主要原因是所需先验的差距以及信号空间的差异。

在时间序列领域，大多数研究关注的是插补而非超分辨率。插补长期以来被视为一个热门研究课题，并被作为下游任务来验证各种模型的有效性，包括通用时间序列模型 (Wu 等，2022；Wang 等，2024)、对比学习 (Liu & Chen，2024；Duan 等，2024) 和扩散模型 (Tashiro 等，2021；Alcaraz & Strodthoff，2022)。其他工作利用插补的能力进行异常检测 (Chen 等，2023；Xiao 等，2023) 或表示学习 (Senane 等，2024)。然而，插补和超分辨率在可用数据量、目标采样率和显式可用信息方面有本质不同（更多细节见附录 B）。因此，直接使用插补方法来解决 TSSR 任务可能无法实现合理的结果。

另一类相关方法是时间序列生成模型。除了研究充分的 VAE (Desai 等，2021；Li 等，2023) 和 GAN (Smith & Smith，2020；Jeon 等，2022) 之外，基于扩散和流匹配的模型仍是一个活跃的研究领域。Yuan & Qiao (2024) 将时间序列分解与扩散建模相结合，实现了可解释且高保真的时间序列生成。Huang 等 (2024) 执行时间序列分割和聚类，对代表性片段训练扩散模型，然后通过马尔可夫链方法递归生成整个序列。Zhang 等 (2024) 和 Tamir 等 (2024) 利用流匹配进行时间序列生成，避免了扩散模型中常见的采样速度慢、训练与推理不一致以及噪声累积等问题。这类模型可能通过以低分辨率时间序列为条件来生成高分辨率输出，从而解决 TSSR 问题。然而，如果没有显式建模低分辨率到高分辨率的对应关系，生成的高分辨率序列可能缺乏结构一致性和细节保真度，这在 TSSR 场景中尤为关键。

## 3 所提出方法

参见标题  
图 2：我们提出的 SRT 的架构。左上部分显示了训练过程，其中真实残差序列被分解，速度预测器 \(V_s\) 和 \(V_\tau\) 被训练以拟合 \(s\) 和 \(\tau\) 的真实值与其各自初始状态之间的差异。左下部分描述了推理过程。通过欧拉方法利用预测的速度获得预测值 \(\hat{s}\) 和 \(\hat{\tau}\)。