从流式时间序列中建模时滞系统的动态混合

# 从流式时间序列建模时滞系统的动态混合
源文：https://arxiv.org/html/2605.26191
Ren FujiwaraYasuko MatsubaraYasushi Sakurai 大阪大学产业科学研究所，日本 \{r\-fujiwr,yasuko,yasushi\}@sanken\.osaka\-u\.ac\.jp

###### 摘要

本研究解决了具有明确输入输出关系的时间序列数据流中的自适应建模问题。该问题具有挑战性，因为环境因素或输入延迟变化引起的系统快速变化（机制转换）会降低模型性能，且当针对每种时间序列模式使用多个小模型时，会在准确性、鲁棒性和内存使用之间产生权衡。为解决这些问题，本文提出了一种在线框架/方法，将流式时间序列视为时滞系统的动态混合。该框架通过使用固定长度的表示来总结过去的状态（该表示同时捕捉系统动力学和输入输出延迟），从而维护模型跟踪的鲁棒性并减少内存使用。具体而言，该方法利用系统的马尔可夫参数序列构建一个摘要系统张量，捕捉动态行为和延迟特征。必要时，张量分解算法从张量中提取相关的过去模型，并帮助选择最适合当前状态的系统。该方法能够快速适应环境变化，且计算效率高。在真实数据集上的测试表明，DelayMix 始终优于其他方法，实现了更优的预测精度和对延迟的更快适应，尤其适用于高度非平稳数据。

## 1 引言

近年来，对具有明确输入输出关系的时间序列数据流进行建模，以及基于此类数据流进行建模的重要性日益增长。特别是在船舶控制、工业机器人、数据中心冷却、柴油发动机控制和自动驾驶等现实世界系统中，建模失败很容易体现为安全和高效运行的故障，因此有必要开发在时间序列数据流上进行稳定高效建模的方法。

然而，在流式数据上进行建模同时面临着数据非平稳性和计算资源约束的挑战，使得直接应用为离线场景设计的模型和算法变得困难。具体而言，会出现以下两个问题：（1）底层系统的变化通常会导致模型突变，即机制转换，迅速降低已训练模型的性能。此外，这一挑战因具有输入输出关系的系统固有的未知输入延迟而进一步复杂化。这意味着必须同时跟踪模型输入延迟的变化。（2）时间序列数据流没有时间边界，即半无限长，因此使用所有过去数据进行模型估计容易产生设计错误。此外，针对每种时间序列模式使用多个小模型设计的模型，在精度鲁棒性和内存使用之间存在权衡。保留更多的模型可以稳定精度，但模型过多会无界地增加模型搜索成本和内存计算复杂度。

例如，当前考虑机制转换的流式预测模型在模型适应性和流式计算时间方面提供了可扩展的算法。然而，这些方法单调增加模型数量，不仅增加了内存使用，也增加了模型切换所需的计算时间。此外，这些方法不考虑外生变量。换句话说，这些方法缺乏跟踪输入延迟变化的设计原则，难以直接应用于我们的问题。最近的神经方法，如 ReLiNet 和 TimeXer，分别通过切换线性系统和基于 Transformer 的注意力机制来融合外生信号，取得了有竞争力的结果。然而，这些模型通常不显式建模时间延迟，并且由于高计算成本和频繁重训练，在流式场景中往往表现不佳。因此，本文旨在开发一种同时满足对突发环境变化的适应性和可扩展估计的方法。本文的研究问题是：

能否开发一种方法，既能实现对具有明确输入输出关系的时间序列数据流的高精度建模，又能跟踪快速的环境变化并保持高计算效率？

我们提出 DelayMix，一个在线框架，解决了结构识别和流式自适应之间的冲突。该框架通过将过去状态中使用的模型集保留为系统动态行为和输入输出延迟结构的固定长度总结表示的混合，从而在保持高模型跟踪性能的同时避免内存使用增加。具体而言，我们关注一个事实：系统的马尔可夫参数序列整合了其动态行为和输入输出延迟结构，并构建了一个总结它们的系统张量。然后，必要时使用张量分解算法从系统张量中提取有用的过去模型，并自适应地选择最适合当前状态的系统。该方法实现了对快速环境变化跟踪和高计算效率的双重目标。

总之，DelayMix 是一种在线算法，用于将流式时间序列建模为时滞系统的混合。我们的主要贡献如下：

- **时滞系统的流式建模**：我们提出了一种新公式，利用马尔可夫参数序列在流式环境中联合学习未知延迟和系统动力学。
- **资源约束下的可扩展性**：由于增量模型更新，DelayMix 的计算时间与时间序列长度无关，因此比其竞争对手算法更快。
- **对抗结构漂移的鲁棒性**：在真实世界数据集上的实验表明，我们的方法在预测精度上显著优于最先进的基线方法，尤其是在强非平稳性环境中。

## 2 所提方法

在本文中，我们研究来自时滞 MIMO 系统混合的时间序列，其中延迟未知且可能因系统而异。我们的目标是从一个观测序列中恢复每个系统的动力学，并将其用于在线多步预测。我们不直接估计延迟，而是为每个状态估计马尔可夫参数，以总结输入输出行为。然后，为每个状态创建一个无延迟的输入输出等效状态空间模型，用于推理和预测。

本节介绍所提出的模型和算法。首先，在 2.1 节中，我们定义模型。然后，在问题 1 中形式化问题定义。接着，我们提出在线算法 DelayMix，包括名为 DynamicMomentCollection、ModelDatabaseAdaption 和 FuturePrediction 的子算法。所提方法的理论证明见第 3 节。

### 2.1 时滞系统的混合

在实践中，时间序列数据很少来自单一平稳动态系统。相反，底层动力学经常在几个状态之间切换，取决于隐藏条件，如运行模式、环境或用户行为。为捕捉这种非平稳性，我们将数据建模为来自时滞系统的混合。

设 R 表示状态数量，令 rt ∈ {1,…,R} 表示时间 t 处的（未观测）状态索引。对于每个状态 i ∈ {1,…,R}，引入潜在状态 zi(t) ∈ ℝᵏ 和系统矩阵 Ai ∈ ℝᵏˣᵏ, Bi ∈ ℝᵏˣᵈᶜ, Ci ∈ ℝᵈˣᵏ。我们还在状态更新中包含一个整数值延迟 τᵢ ≥ 0。假设在时间 t 处于状态 rt = i，动力学演化为：

zᵢ(t+1) = Aᵢ zᵢ(t) + Bᵢ u(t−τᵢ), (1)
x(t) = Cᵢ zᵢ(t), (2)

其中 u(t) ∈ ℝᵈᶜ 是观测到的外生输入，x(t) ∈ ℝᵈ 是观测到的输出。输入 u(t) 在每一步都可观测，但状态索引 rt 和潜在状态 zᵢ(t) 不可直接观测。我们在需要时使用 x̂(t) 表示模型预测（例如，通过滤波产生的预测）。

**状态特定的马尔可夫参数与混合视角**。对于每个状态，时滞系统 (1)–(2) 产生如下等价的马尔可夫参数（脉冲响应）：

{ g₁ⁱᵗ, g₂ⁱᵗ, … }, gₗⁱᵗ = Cᵢ (Aᵢ)ˡ⁻¹ Bᵢ。

当系统存在显式延迟 τᵢ 时，马尔可夫参数呈现一个特征模式：在理想无噪声情况下，前 τᵢ 个马尔可夫参数为零，非零响应从延迟 τᵢ+1 开始。马尔可夫参数与时滞之间的这种关系表明，仅估计马尔可夫参数而不明确考虑延迟，就能得到时滞系统的估计。此外，将由时滞系统表示的状态估计重新表述为从数据中估计马尔可夫参数混合的问题。这里，在 LDSmeetsCTR 中，理论上证明了可以通过将适当生成的三阶张量（即系统张量）分解为秩-1 张量的叠加，来提取观测数据中的马尔可夫参数混合。在这项工作中，我们构建了一个算法，将此理论框架应用于真实世界流式场景中时滞系统的状态估计。本节剩余部分将重点介绍所提出的算法。

参见图注 图 1：DelayMix 概览。给定当前数据窗口 Xᶜ 和当前外生变量 Uᶜ，所提方法增量式地构建基于矩的系统张量，将其分解为状态特定的马尔可夫参数，为每个状态实现一个等价的延迟自由状态空间模型，并使用这些模型预测未来轨迹。
### 2.2 基于矩系统张量的在线预测

现在解释 DelayMix 如何使用基于矩的系统张量进行在线建模，主要思想是在每次更新时保持系统张量的最新经验估计，该估计总结了 (x, u) 的高阶矩，并定期分解此张量以更新延迟自由状态空间模型的混合。然后我们使用这些模型推断当前动态状态，并基于外生输入预测未来输出。

#### 2.2.1 数据窗口与外生变量

我们假设数据流 X（记为 {x(t)}ₜ₌₁）按顺序到达。算法在设定的更新时间运行，处理最近数据的滑动窗口。

**定义 1：当前数据窗口 Xᶜ**。
设 Xᶜ = X[t:tₙ] 表示从观测时间序列中提取的长度为 lᶜ 的子序列，从时间索引 t 开始，到 tₙ 结束。

**定义 2：当前外生变量 Uᶜ**。
设 Uᶜ = U[t:tₙ+lₓ] 表示当前更新时可用的外生输入子序列，其中 lₓ 是预测视界。段 U[t:tₙ] 用于更新模型，U[tₙ+1:tₙ+lₓ] 用于预测。

我们专注于将流式数据建模为时滞系统的混合，并使用动力学进行预测，这是 DelayMix 的主要应用之一。在每次更新时，算法观测当前数据窗口 Xᶜ 和相应的外生输入序列 Uᶜ，以及截至上次更新估计的模型。利用这些信息，我们的目标是细化当前系统混合，并预测未来 lₓ 步的输出。

我们将问题形式化如下：

**问题 1**。
给定当前数据窗口 Xᶜ、以等时间间隔采样的外生输入序列 Uᶜ、先前估计的模型参数 θₚ 和先前系统张量 Sₚ，在每次更新时执行以下操作：
- 更新系统张量 S 和当前系统参数 θ = {Aᶜ, Bᶜ, Cᶜ}，以更好地拟合新观测到的数据；
- 给定未来输入 U[tₙ+1:tₙ+lₓ]，预测未来输出 Xᶠ = X[tₙ+1:tₙ+lₓ]；
- 随着新数据到达，保持计算效率和有界内存使用。

为解决问题 1，DelayMix 将在线估计和预测流程组织为三个部分：DynamicMomentCollection（系统张量收集）、ModelDatabaseAdaption（通过张量分解和系统实现的在线模型自适应）和 FuturePrediction（使用无延迟模型预测轨迹）。我们将逐一描述每个部分。图 1 显示了 DelayMix 的概览，从当前数据窗口和外生输入到更新后的模型和预测。

DynamicMomentCollection 的目标是使用流式输入输出数据，维护全局系统张量 S 的最新经验估计。我们构建结构化的高阶矩，以捕捉来自底层切换动态系统的时间依赖性。我们的方法使用一种受 LDSmeetsCTR 启发的紧凑方法，无需存储原始数据。DynamicMomentCollection 保持所需矩块的运行估计，并随着新样本到达增量地更新 S。这保持了低内存使用，同时保留了一个张量，其 CP 分解可以恢复状态特定的马尔可夫参数（直到缩放和排列）。具体而言，对于子窗口起始时间 τ 和三元组 (k₁, k₂, k₃) ∈ {1,…,kₘₐₓ}³，定义

t₁ = τ + k₁,
t₂ = τ + k₁ + k₂ + 1,
t₃ = τ + k₁ + k₂ + k₃ + 2,
t̃₁ = τ,
t̃₂ = τ + k₁ + 1,
t̃₃ = τ + k₁ + k₂ + 2.