随机动力系统中嵌入潜在转移算子的深度谱学习

# 嵌入潜传递算子的随机动力系统的深度谱学习

**来源：** https://arxiv.org/html/2606.14079

**Ryogo Tanaka** ([[email protected]](mailto:[email protected]))  
大阪大学信息科学与技术研究生院，日本大阪  
RIKEN 智能高级项目中心，日本东京

**Yoshinobu Kawahara** ([[email protected]](mailto:[email protected]))  
大阪大学信息科学与技术研究生院，日本大阪  
RIKEN 智能高级项目中心，日本东京

---

###### 摘要

我们提出了一种用于随机非线性动力系统的谱学习方法，该方法在深度特征空间中用嵌入的潜传递算子表示。我们将该方法实例化为深度谱编码器（DSE），这是一种基于算子的潜状态空间模型，其中时不变神经编码器从观测中实现可学习的非线性特征映射，这些特征定义了马尔可夫潜状态，其时间演化和观测映射分别由传递算子和观测算子描述。在可学习的Galerkin投影特征空间中的函数典型相关分析从过去和未来的观测中提供状态坐标，而这两个线性算子则以岭回归正则化的闭式解形式在状态坐标上估计，这些解与相关协方差算子的Galerkin投影一致。在此表示基础上，我们推广了特征空间中的序贯贝叶斯滤波和Koopman谱模态分解。在多个场景下的实验表明，即使在噪声和部分可观测条件下，与序贯贝叶斯滤波和动态模态分解基线相比，我们的方法表现出稳定且优越的性能。

## 1 引言

利用时间序列数据理解和预测随机非线性动力学的演化是一个核心但技术上具有挑战性的问题，遍及科学和工程领域。现实世界的时间序列数据通常由于非线性演化、观测噪声和部分可观测性而在观测空间中呈现非平稳性，因此简单的线性模型无法捕捉底层结构。动力系统预测的一种经典方法是序贯贝叶斯滤波，以卡尔曼滤波[Kal60]及其非线性扩展（如扩展卡尔曼滤波、无迹卡尔曼滤波和核卡尔曼滤波[Anderson1979, doucetfg01, GKN19]）为代表。当从数据中学习状态空间模型时，常见策略使用期望最大化或变分近似推断潜状态轨迹，或者使用摊销推断学习深度潜状态模型[krishnan2015, BPG+19]。连续时间潜随机动力学也已通过参数化或变分潜SDE公式建模[hasan2022, duncker19]。另一类工作采用**谱学习**直接从过去和未来观测的经验矩中识别潜马尔可夫表示，避免迭代潜状态推断。在统计学和控制理论中，随机实现和子空间识别通过过去块和未来块之间的典型相关分析（CCA）构建预测状态坐标，并通过回归估计动力学[Aka75, Desai1985, katayama2005subspace]。在机器学习中，谱算法已针对隐马尔可夫模型[Hsu09]开发，并通过基于核的随机实现和希尔伯特空间嵌入扩展到非线性场景[Kawahara06, Song2010, nry2025elto]。这些估计器具有闭式形式且统计性能良好，但它们的有效性依赖于通常预先固定的特征表示。

我们提出深度谱学习（DSL），这是一种针对随机动力系统的方法，它在有限维深度特征空间中学习嵌入的潜传递算子，同时保持基于算子的状态空间公式和闭式算子估计。作为DSL的具体实例，我们引入深度谱编码器（DSE），其中时不变神经编码器将观测窗口映射为块状特征，在可学习的Galerkin投影特征空间中进行函数CCA，从而得到预测状态坐标。在这些坐标上，通过深度特征两阶段过程[Xu2021]以岭回归正则化的闭式解形式估计传递算子和观测算子，这些解与相关条件协方差算子在由学习到的特征张成的子空间上的Galerkin投影一致。该表示通过使用学习到的算子传播和更新嵌入的状态法则，推广了特征空间中的序贯贝叶斯滤波，并且通过学习到的传递算子的特征分解，分别以闭式形式推广了Koopman谱分析。在多个场景下的实验表明，在噪声和部分可观测条件下，该方法具有稳健的预测和谱恢复性能，且优于基线方法。

在本框架中，希尔伯特空间嵌入和条件协方差算子被用作解释估计器的标准总体水平算子观点，而DSL的作用是使谱实现所使用的有限维表示空间变得可学习。DSE通过神经编码器和字典映射来指定这些空间：编码器和块特征映射定义了过去-未来CCA问题，该问题产生预测状态坐标；而状态字典和观测字典定义了这些函数所张成的空间，用于闭式传递算子和观测算子估计。它与ELTO[nry2025elto]中的基于核的实现不同，后者的经验表示通过在RKHS中对样本进行核评估来表达；DSE则学习显式的有限维Galerkin坐标，并在这些实现坐标上执行算子回归。下面开发的特征空间滤波和Koopman风格谱分析是这种学习到的算子表示的下游应用。

本文的其余部分组织如下：第2节回顾了均值嵌入、协方差算子以及基于深度特征的两阶段线性算子估计。第3节发展了基于算子的状态空间公式和带有深度特征的随机实现，第4节介绍了DSE模型及其学习算法。我们在第5节和第6节分别使用基于算子的表示发展了序贯状态估计和谱模态分解，并给出了实验结果。第7节总结了本文。代码可在 https://github.com/uosaka-mlsyslab/DeepSpectralEncoder 获取。

## 2 背景

### 2.1 条件分布的希尔伯特空间嵌入

将概率律（包括条件概率律）嵌入希尔伯特空间，使得我们能够将期望和条件期望实现为特征空间上的内积和线性算子。本小节回顾随机变量的相应希尔伯特空间嵌入框架，包括表示边际律的均值元以及协方差、互协方差和条件协方差算子[baker1973, Hsing2015]。这些构造作为标准背景，并为后续引入的有限维估计器提供了总体水平的算子观点。

设 \(\mathbf{x}\) 和 \(\mathbf{y}\) 为随机变量，取值分别为 \(\bm{x} \in \mathbb{X}\) 和 \(\bm{y} \in \mathbb{Y}\)，其中 \(\mathbb{X}, \mathbb{Y}\) 是实向量空间，相应的边际分布为 \(P_{\mathbf{x}}, P_{\mathbf{y}}\)，联合分布为 \(P_{\mathbf{x}\mathbf{y}}\)。设 \(\mathbb{H}\) 和 \(\mathbb{G}\) 为可分离希尔伯特空间，考虑特征映射 \(\phi_x: \mathbb{X} \rightarrow \mathbb{H}\)，\(\psi_y: \mathbb{Y} \rightarrow \mathbb{G}\)，满足 \(\mathbb{E}[\|\phi_x(\mathbf{x})\|^2] < \infty\) 和 \(\mathbb{E}[\|\psi_y(\mathbf{y})\|^2] < \infty\)。我们在特征空间中用它们的均值元表示 \(\mathbf{x}\) 和 \(\mathbf{y}\) 的边际分布。\(\mathbf{x}\) 的均值元定义为

\[
\mu_{\mathbf{x}} := \mathbb{E}[\phi_x(\mathbf{x})] = \int \phi_x(\bm{x}) dP_{\mathbf{x}}(\bm{x}) \in \mathbb{H},
\]

类似地定义 \(\mu_{\mathbf{y}} \in \mathbb{G}\)[SGSS07]。平方可积性假设确保了这些期望作为希尔伯特空间元素是良定义的。这种构造称为均值嵌入，且满足 \(\mathbb{E}[f(\mathbf{x})] = \mathbb{E}[\langle f, \phi_x(\mathbf{x}) \rangle_{\mathbb{H}}] = \langle f, \mu_{\mathbf{x}} \rangle_{\mathbb{H}}\) 对所有 \(f \in \mathbb{H}\) 成立。在合适的特征映射条件下，均值嵌入是单射的，从而刻画了底层分布[Sriperumbudur2008]。均值嵌入提供了特征空间中边际分布的一阶摘要。

为了描述特征空间中的二阶关系，我们引入协方差和互协方差算子，它们定义为由特征映射诱导的秩一算子的期望[baker1973]。

###### 定义 1
回顾 \(\phi_x(\mathbf{x}) \in \mathbb{H}\) 和 \(\psi_y(\mathbf{y}) \in \mathbb{G}\) 表示上面引入的 \(\mathbf{x}\) 和 \(\mathbf{y}\) 的特征映射，并假设它们是平方可积的。那么，协方差算子 \(\mathcal{C}_{\mathbf{x}}: \mathbb{H} \rightarrow \mathbb{H}\) 和互协方差算子 \(\mathcal{C}_{\mathbf{y}\mathbf{x}}: \mathbb{H} \rightarrow \mathbb{G}\) 定义为

\[
\mathcal{C}_{\mathbf{x}} := \int \phi_x(\bm{x}) \otimes \phi_x(\bm{x}) dP_{\mathbf{x}}(\bm{x}), \quad
\mathcal{C}_{\mathbf{y}\mathbf{x}} := \int \psi_y(\bm{y}) \otimes \phi_x(\bm{x}) dP_{\mathbf{x}\mathbf{y}}(\bm{x}, \bm{y}),
\]

其中秩一算子 \(a \otimes b: \mathbb{H} \rightarrow \mathbb{G}\) 定义为 \((a \otimes b) w := \langle w, b \rangle_{\mathbb{H}} a\)，对所有 \(b, w \in \mathbb{H}\) 和 \(a \in \mathbb{G}\) 成立。对任意 \(f \in \mathbb{H}\) 和 \(g \in \mathbb{G}\)，

\[
\mathbb{E}_{\mathbf{x}\mathbf{y}} [f(\mathbf{x}) g(\mathbf{y})] = \left\langle \mathcal{C}_{\mathbf{y}\mathbf{x}} f, g \right\rangle_{\mathbb{G}} = \left\langle f, \mathcal{C}_{\mathbf{y}\mathbf{x}}^* g \right\rangle_{\mathbb{H}},
\]

这是希尔伯特空间值随机变量的互协方差算子的标准表示。

在可积函数空间中，条件期望可以视为到由 \(\phi_x(\mathbf{x})\) 生成的闭子空间上的正交投影[Hsing2015]。将线性预测器限制为形式 \(\mathcal{A} \phi_x(\mathbf{x})\)，其中 \(\mathcal{A} \in \mathcal{L}(\mathbb{H}, \mathbb{G})\) (\(\mathcal{L}(\mathbb{H}, \mathbb{G})\) 表示从 \(\mathbb{H}\) 到 \(\mathbb{G}\) 的有界线性算子空间)，并考虑正则化参数 \(\lambda > 0\)，则得到正则化最小二乘问题

\[
\mathcal{A}^* := \underset{\mathcal{A} \in \mathcal{L}(\mathbb{H}, \mathbb{G})}{\mathrm{argmin}} \mathbb{E} \left[ \| \psi_y(\mathbf{y}) - \mathcal{A} \phi_x(\mathbf{x}) \|_{\mathbb{G}}^2 \right] + \lambda \|\mathcal{A}\|_{\mathrm{HS}}^2,
\]

其中 \(\|\cdot\|_{\mathrm{HS}}\) 是Hilbert-Schmidt范数。相应的正则方程给出唯一解为

\[
\mathcal{A}^* = \mathcal{C}_{\mathbf{y}\mathbf{x}} (\mathcal{C}_{\mathbf{x}} + \lambda \mathcal{I})^{-1},
\]

其中 \(\mathcal{I}\) 是恒等算子。算子 \(\mathcal{A}^*\) 在均方意义下与从 \(\phi_x(\mathbf{x})\) 预测 \(\psi_y(\mathbf{y})\) 的总体最优线性预测器一致[grunewalder2012]。受此刻画以及基于 \(\mathcal{C}_{\mathbf{x}}, \mathcal{C}_{\mathbf{y}\mathbf{x}}\) 的条件协方差算子-理论处理[Fukumizu2004, Song2009]的启发，我们得到以下定义：

###### 定义 2
我们定义 \(\mathcal{C}_{\mathbf{y} \mid \mathbf{x}} := \mathcal{C}_{\mathbf{y}\mathbf{x}} (\mathcal{C}_{\mathbf{x}} + \lambda \mathcal{I})^{-1}\)，并将 \(\mathcal{C}_{\mathbf{y} \mid \mathbf{x}}: \mathbb{H} \to \mathbb{G}\) 称为（正则化的）条件协方差算子。该算子是从 \(\phi_x(\mathbf{x})\) 预测 \(\psi_y(\mathbf{y})\) 的岭回归正则化总体最优线性预测器，因此可以作为特征空间中条件期望的线性表示。在实际应用中，这类条件协方差算子是在某些有限维子空间上近似的。

### 2.2 基于深度特征的两阶段估计

在上一节中，我们介绍了作用于特征空间上的算子，如协方差算子和条件协方差算子。为了获得这些算子的可学习有限维表示，我们选择张成有限子空间的神经特征映射，并在这些子空间上估计相应的算子。对于这种估计，我们采用两阶段深度特征过程[Xu2021]，其中两个变量 \(\mathbf{x}\) 和 \(\mathbf{z}\) 通过一个非平凡的条件分布 \(P(\mathbf{x} \mid \mathbf{z})\) 相关联，估计过程首先恢复给定 \(\mathbf{z}\) 时 \(\mathbf{x}\) 特征的条件期望，然后在预测特征上拟合目标函数。

设 \(\psi_{\theta_X}: \mathbb{X} \rightarrow \mathbb{R}^{d_1}\) 和 \(\phi_{\theta_Z}: \mathbb{Z} \rightarrow \mathbb{R}^{d_2}\) 表示神经特征映射，分别由 \(\theta_X\) 和 \(\theta_Z\) 参数化，对应随机变量 \(\mathbf{x}\) (取值 \(\bm{x} \in \mathbb{X}\)) 和 \(\mathbf{z}\) (取值 \(\bm{z} \in \mathbb{Z}\))。设 \(y \in \mathbb{R}\) 为标量结果。我们将结构函数建模为 \(f(\bm{x}) := r_\xi \left( \psi_{\theta_X}(\bm{x}) \right)\)，其中预映像映射 \(r_\xi: \mathbb{R}^{d_1} \rightarrow \mathbb{R}\) 由 \(\xi\) 参数化。那么目标为

\[
\min_{\xi, \theta_X, \theta_Z} \mathbb{E} \left[ \left( y - r_\xi \left( \mathbb{E}[\psi_{\theta_X}(\mathbf{x}) \mid \mathbf{z}] \right) \right)^2 \right].
\]