StateFlow: 用于长时域时间序列预测的双状态循环建模

# StateFlow：用于长周期时间序列预测的双状态循环建模
来源：https://arxiv.org/html/2607.00197
Haroon Gharwi¹\*Yue Dai²\*Kai Shu³\+ \*伊利诺伊理工学院计算机科学系，芝加哥，伊利诺伊州，美国 \+埃默里大学计算机科学系，亚特兰大，佐治亚州，美国 ¹hgharwi@hawk\.illinoistech\.edu ²ydai21@illinoistech\.edu ³kai\.shu@emory\.edu

###### 摘要

长周期多变量时间序列预测（LTSF）由于非平稳性、状态转移和误差累积而仍然具有挑战性。最近提出的变异性感知递归神经网络（VARNN）通过维护一个由单步预测误差驱动的残差记忆状态来跟踪这种变异性。然而，其原始公式仅限于单步序列回归，并不直接支持多步预测。在这项工作中，我们将 VARNN 扩展到长周期预测，并引入了 StateFlow，这是一个循环预测框架，使用 VARNN 作为双状态循环骨干，从回望序列中捕获两种互补信号：表示主要时间动态（包括趋势、季节性、水平变化和重复模式）的隐藏状态轨迹，以及表示结构化局部预测偏差的残差记忆轨迹，该轨迹由单步基预测与观测值之间的误差的非线性循环变换驱动。一个基于块的解码器分别总结这些轨迹，并将其映射到未来周期以进行直接多步预测。我们进一步采用两阶段优化策略，首先通过单步基预测目标训练 VARNN 编码器，以优化回望序列上的内部表示，然后训练一个特定周期的解码器用于直接多步预测。在标准 LTSF 基准上的实验表明，StateFlow 在保持线性循环编码和紧凑模型设计的同时，对强线性、循环、卷积和基于 Transformer 的基线模型取得了具有竞争力的性能。

关键词—时间序列预测，非平稳性，残差学习，循环神经网络，分布偏移。

## 1 引言

长周期多变量时间序列预测（LTSF）是能源需求预测、交通流分析、金融建模和环境监测等应用中的一个基本问题（Hyndman and Athanasopoulos, 2021 (https://arxiv.org/html/2607.00197#bib.bib1); Brockwell and Davis, 2002 (https://arxiv.org/html/2607.00197#bib.bib2); De Gooijer and Hyndman, 2006 (https://arxiv.org/html/2607.00197#bib.bib10)）。LTSF 需要建模扩展的时间依赖关系，同时保持对非平稳性、分布偏移和不断演变的季节性结构的鲁棒性（Lim and Zohren, 2021 (https://arxiv.org/html/2607.00197#bib.bib43); Baidya and Lee, 2024 (https://arxiv.org/html/2607.00197#bib.bib46)）。随着预测周期的增加，建模误差往往会累积，使得稳定的长期外推变得特别具有挑战性（Lim et al., 2019 (https://arxiv.org/html/2607.00197#bib.bib29); Oreshkin et al., 2020 (https://arxiv.org/html/2607.00197#bib.bib36); Benidis et al., 2023 (https://arxiv.org/html/2607.00197#bib.bib38)）。

LTSF 的最新进展主要由基于 Transformer 的架构推动，这些架构利用自注意力来捕获长程依赖关系。基于补丁的分词策略和通道注意力机制在标准基准上展示了强大的实证性能（Nie et al., 2023 (https://arxiv.org/html/2607.00197#bib.bib33); Liu et al., 2024 (https://arxiv.org/html/2607.00197#bib.bib56)）。然而，基于注意力的模型通常相对于输入长度具有二次复杂度，并且通常依赖于全局交互模式，当需要长回望窗口时，这可能会引入计算开销。

相比之下，循环架构随序列长度线性扩展，并为时间建模提供自然的因果结构。经典的循环模型如 RNN、LSTM 和 GRU（Elman, 1990 (https://arxiv.org/html/2607.00197#bib.bib54); Hochreiter and Schmidhuber, 1997 (https://arxiv.org/html/2607.00197#bib.bib8); Cho et al., 2014 (https://arxiv.org/html/2607.00197#bib.bib9)）已被广泛研究用于序列回归。然而，它们在长周期预测环境中的性能通常被认为落后于基于 Transformer 的现代方法（Zhou et al., 2021 (https://arxiv.org/html/2607.00197#bib.bib30); Zeng et al., 2023 (https://arxiv.org/html/2607.00197#bib.bib48)）。一个潜在的局限性是，传统的循环主要通过对单个隐藏状态的内容演化进行建模，而没有显式地建模系统性偏差。这些局部偏差可能反映观测序列中的漂移、偏差或其他非平稳变化。

最近的工作引入了变异性感知递归神经网络（VARNN）用于单步序列回归（Gharwi and Shu, 2025 (https://arxiv.org/html/2607.00197#bib.bib49)）。VARNN 显式地使用单步预测残差来更新一个专用的非线性残差记忆状态，允许结构化局部预测偏差与主要时间动态分开建模。然而，其原始公式仅限于单步序列回归，其在长周期时间序列预测（LTSF）中的适用性尚未被探索。

为了弥补这一差距，我们将 VARNN 扩展到 LTSF 设置，并引入了 StateFlow 框架。StateFlow 使用 VARNN 作为双状态循环骨干，从回望序列中捕获两种互补信号：表示主要时间动态（包括趋势、季节性、水平变化和重复模式）的隐藏状态轨迹，以及表示结构化局部预测偏差的残差记忆轨迹，该轨迹由单步基预测与观测回望值之间的误差的非线性循环变换驱动。一个基于块的预测解码器在将这些轨迹映射到未来周期之前分别对其进行总结。这种设计保留了时间动态与偏差动态之间的区别，同时减少了与直接展平整个编码器轨迹相关的参数增长。

参见图注图1：提出的 StateFlow 框架架构，以 VARNN 作为循环骨干。VARNN 将回望序列编码为隐藏状态轨迹和残差记忆轨迹，然后由基于块的解码器分别总结并投影到未来周期以进行直接多步预测。我们进一步采用两阶段优化策略来桥接单步残差学习与长周期预测。在第一阶段，使用回望窗口上的单步预测目标训练 VARNN 编码器，为残差记忆状态提供显式学习信号。在第二阶段，预训练编码器被冻结，训练一个特定周期的解码器用于直接多步预测。这种分离稳定了优化，并允许相同的预训练 VARNN 编码器针对固定数据集和回望长度跨多个预测周期重复使用，同时为每个周期训练一个单独的特定周期解码器。

提出的 StateFlow 模型通过其循环编码器保持相对于输入长度的线性计算复杂度。我们在标准 LTSF 基准上的实证结果表明，StateFlow 在避免二次时间自注意力的同时，对强线性、卷积、循环和基于 Transformer 的基线模型取得了具有竞争力的性能。这些结果表明，将偏差动态纳入循环为基于注意力的 LTSF 模型提供了一种高效的替代方案，用于长周期预测。我们的贡献总结如下：

- •我们研究了当偏差动态被显式纳入状态转换时，循环是否仍能在 LTSF 中保持竞争力。
- •我们将 VARNN 从单步序列回归扩展到长周期时间序列预测，通过使用其隐藏状态和残差记忆轨迹作为双状态预测表示。
- •我们引入了 StateFlow 框架，这是一个循环轨迹预测框架，带有基于块的水平解码器，在直接多步预测之前分别总结隐藏动态和残差记忆动态。
- •我们采用两阶段优化策略，首先通过单步预测学习残差感知循环表示，然后训练特定周期的解码器用于长周期预测。
- •我们提供了系统的实验和消融研究，表明残差记忆循环是一种具有竞争力和参数高效的长周期预测归纳偏差。

## 2 相关工作

### 2.1 统计和线性模型

经典的预测方法，包括 ARIMA 和指数平滑，为在线性和平稳性假设下建模时间结构提供了原则性框架（Box et al., 2015 (https://arxiv.org/html/2607.00197#bib.bib57); Hyndman and Athanasopoulos, 2021 (https://arxiv.org/html/2607.00197#bib.bib1)）。尽管在许多设置中有效，但这些方法在捕获复杂的非线性和非平稳动态方面可能有限。最近的工作重新审视了用于长周期时间序列预测的轻量级线性架构。LTSF-Linear 和 DLinear 表明，精心结构的线性映射，结合适当分解或归一化策略，可以在标准基准上胜过一些更复杂的基于 Transformer 的模型（Zeng et al., 2023 (https://arxiv.org/html/2607.00197#bib.bib48)）。RLinear 进一步强调了可逆归一化和通道独立建模在线性预测方法性能中的重要性（Li et al., 2023 (https://arxiv.org/html/2607.00197#bib.bib53)）。这些发现表明，精心选择的时间归纳偏差在长周期预测中可能与架构复杂性同样重要。

### 2.2 基于 Transformer 的模型

Transformer 架构（Vaswani et al., 2017 (https://arxiv.org/html/2607.00197#bib.bib55)）由于能够通过自注意力机制捕获长程依赖关系，已被广泛采用于时间序列预测。Informer（Zhou et al., 2021 (https://arxiv.org/html/2607.00197#bib.bib30)）使用稀疏注意力提高效率，而 Autoformer 和 FEDformer 则结合了分解和频域建模（Wu et al., 2021 (https://arxiv.org/html/2607.00197#bib.bib31); Zhou et al., 2022 (https://arxiv.org/html/2607.00197#bib.bib32)）。PatchTST 引入了基于补丁的标记化与通道独立预测策略（Nie et al., 2023 (https://arxiv.org/html/2607.00197#bib.bib33)），而 iTransformer 通过反转时间和变量维度来跨变量应用注意力（Liu et al., 2024 (https://arxiv.org/html/2607.00197#bib.bib56)）。这些方法在长周期基准如 ETT、Weather 和 Electricity 数据集上取得了强大的实证性能。尽管有效，基于注意力的模型通常在序列长度上保持二次复杂度，或者需要额外的近似来降低这一成本。此外，它们对全局交互模式的依赖在需要长回望窗口时可能会引入额外开销。这激发了探索保留效率同时保持竞争力的替代顺序归纳偏差。

### 2.3 循环神经网络

循环神经网络，包括普通 RNN（Elman, 1990 (https://arxiv.org/html/2607.00197#bib.bib54)）、长短期记忆网络（LSTM）（Hochreiter and Schmidhuber, 1997 (https://arxiv.org/html/2607.00197#bib.bib8)）和门控循环单元（GRU）（Cho et al., 2014 (https://arxiv.org/html/2607.00197#bib.bib9)），通过隐藏状态转换对非线性自回归时间动态进行建模。它们为序列建模提供了自然的因果结构，并随输入长度线性扩展。然而，这些传统的循环模型通常将时间信息压缩到一个隐式整合过去信息的单一隐藏状态中，这可能限制它们在非平稳性下显式跟踪系统性预测偏差的能力。

最近，变异性感知递归神经网络（VARNN）（Gharwi and Shu, 2025 (https://arxiv.org/html/2607.00197#bib.bib49)）被引入，用于在具有协变量输入的单步序列回归中显式建模此类偏差。与仅通过潜在状态编码协变量序列的传统循环模型不同，VARNN 额外利用观测序列的历史真实值，计算每个单步基预测与其对应观测值之间的残差，然后通过非线性循环更新将这些残差转换成一个专用的残差记忆轨迹，该轨迹影响后续步骤。先前的结果表明，残差可以表现出结构化的非线性依赖关系，为建模时间偏差提供有用信息。然而，VARNN 最初是为单步回归制定的，其对长周期时间序列预测的有效性尚未得到系统研究。在这项工作中，我们将 VARNN 扩展到 LTSF 设置，通过使用其隐藏状态和残差记忆轨迹作为预测表示，并结合基于块的水平解码器与两阶段优化，用于直接多步预测。

## 3 方法论

### 3.1 问题公式化

令 X₁:L = [x₁, x₂, ..., x_L] ∈ ℝ^(L×D) 表示一个多变量输入序列，回望长度为 L 和 D 个变量，其中 x_t ∈ ℝ^D 是时间步 t 的观测值。长周期预测的目标是预测未来序列 Y_{L+1:L+H} = [x_{L+1}, x_{L+2}, ..., x_{L+H}] ∈ ℝ^(H×D)，其中 H 是预测周期。

### 3.2 模型架构

提出的 StateFlow 架构由三个主要组件组成：实例归一化层、双状态循环编码器和周期预测解码器。为了提高跨多变量数据集的可扩展性，该模型遵循通道独立处理策略。每个变量作为独立的单变量序列处理，同时在变量间共享相同的模型参数。我们将多变量时间序列输入 X ∈ ℝ^(L×D) 拆分为 D 个单变量序列 X^{(i)}_{1:L} = [x^{(i)}_1, x^{(i)}_2, ..., x^{(i)}_L] ∈ ℝ^(1×L)，其中 i = 1,...,D。相应地，模型将预测 Ŷ^{(i)}_{L+1:L+H} = [x^{(i)}_{L+1}, x^{(i)}_{L+2}, ..., x^{(i)}_{L+H}] ∈ ℝ^(1×H)。预测后，输出将重塑回 Ŷ ∈ ℝ^(H×D)。

#### 3.2.1 实例归一化层

为了减少非平稳时间序列中训练和测试之间的窗口级分布偏移，我们在编码器处理之前对每个输入序列 X₁:L 应用实例归一化（Ulyanov et al.