基于Kalman推断的原理性Koopman表示用于高效时间序列预测

# 基于卡尔曼推断的K2SVD：高效时间序列预测的结构化Koopman表示
来源：https://arxiv.org/html/2609.17815
###### 摘要

Koopman算子已广泛应用于动态系统的时间序列预测。然而，先前通过神经网络学习潜在“Koopman空间”的工作，往往未能为预测构建有效的Koopman空间，因为这些表示可能在数学上与算子理论形式不一致，且未能捕捉系统动力学的内在低秩结构。为解决此问题，我们提出K2SVD方法，该方法通过优化Hilbert-Schmidt目标函数显式学习Koopman算子的主导奇异函数。这产生了一个定义明确的Koopman算子低秩近似，具有可解释的线性组合，其潜在空间维度不到先前工作的10%。在学到的Koopman空间中，K2SVD进一步通过线性高斯状态空间模型捕捉时间演化，并通过卡尔曼滤波进行推断，减轻了多步预测中的噪声累积。实证结果表明，K2SVD在多个数据集上优于最先进方法，与先前注重效率的模型相比，其预测速度显著更快且计算成本更低。这突显了结构化低秩Koopman表示的优势，并为更广泛的应用开辟了潜力。

1加州大学圣塔芭芭拉分校计算机科学系
[email protected], [email protected]

## 1引言

时间序列预测是众多科学和工业领域中的一个基础问题，通常要求模型在噪声干扰下处理高度非线性的变换。近期深度学习模型，包括Transformer（Li et al. 2019）、序列到序列架构和基础模型（Das et al. 2024; Ansari et al. 2024），已展现出强大的实证性能。然而，在需要可解释且表达力强的潜在空间的领域，如经济学、天气和能源，纯黑箱预测模型往往不足。

Koopman算子（Lan and Mezić 2013）通过提供一个数学基础扎实且表达力强的潜在空间，为黑箱模型提供了一个引人注目的替代方案。通过将数据提升到测量函数的无限维空间，Koopman框架通过一个线性算子表示非线性动力学，该算子将测量映射到其下一步演化。这一视角也使得谱方法能够分析系统动力学中广泛观察到的低秩结构，连接了经典动力系统理论和现代机器学习。特别是近期基于Koopman奇异值分解（SVD）的方法（Jeong et al. 2025; Kostic et al. 2024; Wu and Noé 2020）学习了算子的主导奇异函数，证明了Koopman表示在建模动力系统方面的有效性。

尽管取得了这些进展，许多现有的概率时间序列预测方法（Liu et al. 2026; Liu et al. 2023）声称构建了Koopman空间，但它们依赖于启发式或定义松散的潜在表示，并未严格遵守底层的算子理论框架。特别是，学到的嵌入通常仅针对重构损失进行优化，而非满足Koopman不变子空间的定义。因此，它们可能无法在明确定义的函数空间中保持线性演化，并且可能需要冗余模块来处理非线性。由此产生的“Koopman空间”可能无法接受一致的算子解释，且其相关动力学可能偏离真实的谱结构，尤其是低秩结构，导致参数冗余和低效预测。

[图注] 图1：在电力数据集上预测性能、GPU使用和推理时间的比较。K2SVD在时间效率、空间效率以及整体性能上优于竞争方法。圆圈大小表示训练期间分配的GPU峰值内存。

为解决这些局限性，我们提出了K2SVD，一个结构化框架，通过学习Koopman算子主导奇异函数的近似来显式强制低秩Koopman结构。与将潜在空间视为无约束嵌入不同，我们的方法通过优化直接针对算子的最佳秩-k近似的Hilbert-Schmidt目标函数来构建理论基础扎实的表示。这产生了一个具有明确定义的线性动力学的潜在空间，从而实现忠实的谱特征化和线性时间演化，同时也显著降低了计算量。在Koopman潜在空间中，时间演化被建模为带有非线性扰动的线性转换。给定一个结构化的Koopman空间，我们假设这些非线性残差幅度小且预测信息有限，因此可以将其视为需要过滤的高斯噪声。此外，由于时间序列预测的迭代特性，我们通过卡尔曼滤波进行推断，以减轻前向传播过程中的噪声累积。

整体模型采用两阶段方案训练，首先建立Koopman子空间，然后通过卡尔曼滤波器以端到端方式细化动力学和观测组件。这种设计结合了理论严谨性和实际可扩展性，产生了一个能够捕捉低秩动力学同时保持强大预测性能和参数效率的模型。如图1所示，K2SVD以显著更低的GPU内存使用和更短的推理时间达到了具有竞争力的预测性能。我们的贡献如下：

- • 我们提出了K2SVD，一个结构化的Koopman预测框架，通过Hilbert-Schmidt目标函数近似Koopman算子的主导奇异函数来学习低秩Koopman空间，从而产生一个数学基础扎实的潜在空间。
- • 我们将学到的Koopman表示与线性高斯状态空间模型和卡尔曼滤波相结合，实现了高效的多步推断，减轻了噪声累积。
- • 我们实证表明，K2SVD在多个动力系统和真实世界时间序列基准测试中达到了具有竞争力的预测性能，同时比现有方法需要显著更少的参数和更短的推理时间，证明了显式建模低秩Koopman结构的优势。

## 2相关工作

概率时间序列预测。时间序列预测已从经典自回归模型发展到深度生成框架。早期的神经网络方法，如DeepAR（Salinas et al. 2020）、N-BEATS（Oreshkin et al. 2020）和基于Transformer的模型，学习了灵活的序列表示用于多步预测（Lim et al. 2021; Zhou et al. 2021; Rasul et al. 2021）。近期工作则纳入结构化的动力学先验知识，以提高长期预测能力和可解释性。

Koopman算子学习。Koopman算子框架通过将非线性动力系统提升到线性空间来提供一种结构化的分析方法。经典著作建立了其谱基础以及与遍历论和模态分解的联系（Mezić 2005; Mezić 2013; Rowley et al. 2009）。基于该理论，数据驱动的近似方法，如动态模态分解（DMD）及其扩展，使得可以直接从数据中获得Koopman算子的有限维表示（Schmid 2010; Tu 2013; Williams et al. 2015a; Williams et al. 2015b）。特别是，基于SVD的低秩近似在提取主导Koopman模态中起着核心作用，最近，基于学习的方法利用神经网络来恢复Koopman子空间（Wu and Noé 2020; Mardt et al. 2018; Kostic et al. 2024）。这些方法突出了低秩Koopman表示和SVD近似对于高维动力系统的重要性。

基于Koopman的概率预测。基于Koopman的模型受到了越来越多的关注。Koopman神经预测器（KNF）将Koopman嵌入与分布式预测相结合，以处理时间分布偏移（Wang et al. 2022），而Koopa引入了分层Koopman预测器，将非平稳动力学分解为不变和时变分量（Liu et al. 2023）。相关的生成方法，如Koopman VAE，将线性动力学嵌入潜在表示中，以实现稳定的序列生成（Naiman et al. 2023）。混合概率模型进一步将Koopman理论与潜在变量方法相结合，包括卡尔曼滤波。这些方法通常使用Koopman提升与卡尔曼状态空间更新：K-ESKF（Huang et al. 2024）在高度敏捷运动期间改善了状态估计，而K2VAE（Wu et al. 2025）使用变分自编码器训练进行长期预测。总的来说，这些工作表明，将Koopman理论与概率深度学习相结合，为在不确定性下建模复杂时间动力学提供了一个强大的框架。

## 3预备知识

Koopman理论。考虑一个随机离散时间动力系统
\(\mathbf{x}_{t+1} = \xi(F(\mathbf{x}_t), \epsilon_t)\)。这里，\(F: \mathcal{X} \rightarrow \mathcal{X}\) 是定义在域 \(\mathcal{X} \subseteq \mathbb{R}^d\) 上的可能非线性映射，\(\epsilon_t \sim \mathcal{D}\) 表示独立随机噪声。假设 \(F\) 和噪声分布 \(\mathcal{D}\) 是时不变的，则该过程成为一个时齐次马尔可夫过程，具有转移密度 \(p(\mathbf{x}' \mid \mathbf{x})\)，即 \(\Pr(\mathbf{X}_{t+1} \in A \mid \mathbf{X}_t = \mathbf{x}) = \int_A p(\mathbf{x}' \mid \mathbf{x}) d\mathbf{x}'\) 对于所有可测集 \(A \subseteq \mathcal{X}\) 和所有 \(t \geq 0\)。

在随机设置中，动力学完全由转移密度 \(p(\mathbf{x}' \mid \mathbf{x})\) 捕获，该密度由 \((\xi \circ F)(\cdot)\) 诱导，因此问题变为分析马尔可夫链的 \(p(\mathbf{x}' \mid \mathbf{x})\)。此时，Koopman算子变为条件期望算子，即对于可观测函数 \(g: \mathcal{X} \rightarrow \mathbb{R}\)，
\((\mathcal{K}g)(\mathbf{x}) \triangleq \mathbb{E}_{p(\mathbf{x}' \mid \mathbf{x})}[g(\mathbf{x}')]。 (2)\)
根据马尔可夫性质，反复应用Koopman算子对应于在给定 \(\mathbf{X}_0 = \mathbf{x}_0\) 下 \(g(\mathbf{X}_t)\) 的后验均值的多步预测，即 \((\mathcal{K}^t g)(\mathbf{x}_0) = \mathbb{E}_{p(\mathbf{x}_t \mid \mathbf{x}_0)}[g(\mathbf{x}_t)]\)。我们假设在整个论文中该算子是紧的。

问题设定。给定历史数据 \(X = (\mathbf{x}_1, \mathbf{x}_2, \cdots, \mathbf{x}_T) \in \mathbb{R}^{N \times T}\)，我们的目标是建模随机过程并预测未来序列 \(Y = (\mathbf{x}_1, \mathbf{x}_2, \cdots, \mathbf{x}_{T+1}, \mathbf{x}_{T+2}, \cdots, \mathbf{x}_{T+t})\)，从其条件分布 \(p(\mathbf{x}_t \mid \mathbf{x}_0)\) 中采样每个数据。假设在不同时间点有两个数据点 \(\mathbf{x}, \mathbf{x}'\)，它们的边际分布 \(\rho_0, \rho_1\) 满足 \(\rho_1(\mathbf{x}') \triangleq \mathbb{E}_{\rho_0(\mathbf{x})}[p(\mathbf{x}' \mid \mathbf{x})]\)。

设 \(\mathcal{X}\) 为可测空间，\(\rho_0\) 和 \(\rho_1\) 为 \(\mathcal{X}\) 上的（有限）测度，分别表示当前状态和未来状态的分布。对于 \(\mathcal{X}\) 上的任意测度 \(\rho\)，定义 \(L^2_{\rho}(\mathcal{X}) \triangleq \{f: \mathcal{X} \rightarrow \mathbb{C} \mid \int |f(\mathbf{x})|^2 \rho(d\mathbf{x}) < \infty\}\)。配备内积 \(\langle f, g \rangle_{\rho} \triangleq \int f(\mathbf{x}) \overline{g(\mathbf{x})} \rho(d\mathbf{x})\)，\(L^2_{\rho}(\mathcal{X})\) 是一个希尔伯特空间。Koopman算子 \(\mathcal{K}\) 是一个从 \(L^2_{\rho_1}(\mathcal{X})\) 到 \(L^2_{\rho_0}(\mathcal{X})\) 的映射。

算子的SVD。给定 \(\mathcal{K}: L^2_{\rho_1}(\mathcal{X}) \rightarrow L^2_{\rho_0}(\mathcal{X})\)，奇异值分解（SVD）将 \(\mathcal{K}\) 分解为可数秩-1算子的和：
\(\mathcal{K} = \sum_{i=1}^{\infty} \sigma_i f_i \otimes g_i, (3)\)
其中外积算子的作用为 \((f_i \otimes g_i) h = \langle g_i, h \rangle_{\rho_1} f_i\)。奇异值和奇异函数满足：
\(\mathcal{K}g_i = \sigma_i f_i, \qquad \mathcal{K}^* f_i = \sigma_i g_i, (4)\)
以及正交条件：
\(\langle g_i, g_j \rangle_{\rho_1} = \delta_{ij}, \qquad \langle f_i, f_j \rangle_{\rho_0} = \delta_{ij}, (5)\)
其中 \(\{g_i\} \subset L^2_{\rho_1}(\mathcal{X})\) 构成输入空间（当前状态 \(\mathbf{x}_t\) 的可观测量）的正交归一基，\(\{f_i\} \subset L^2_{\rho_0}(\mathcal{X})\) 构成输出空间（未来状态 \(\mathbf{x}_{t+1}\) 的可观测量）的正交归一基，奇异值 \(\sigma_1 \geq \sigma_2 \geq \cdots \geq 0\)。在实际场景中，该转换通常处理低秩