带有Embedded Latent Transfer Operators的序贯贝叶斯滤波的结构化噪声自适应

# 面向嵌入潜在转移算子的序列贝叶斯滤波的结构化噪声自适应
来源：https://arxiv.org/html/2606.14195
Naichang Ke (naichang\.ke@ist\.osaka\-u\.ac\.jp) 大阪大学
Pongpisit Thanasutives (pongpisit\.thanasutives@riken\.jp) 日本理化学研究所人工智能项目中心 (AIP)
Yoshinobu Kawahara (kawahara@ist\.osaka\-u\.ac\.jp) 大阪大学 & 日本理化学研究所人工智能项目中心 (AIP)

###### 摘要

基于嵌入式潜在转移算子（Embedded Latent Transfer Operators, ELTO）的卡尔曼滤波器作为序列状态估计的新型统计工具出现。然而，一个关键限制源于它们使用的简化噪声模型，这些模型无法动态适应非平稳过程。为了解决这一限制，我们引入了一种基于ELTO的贝叶斯滤波方法，该方法为滤波器的噪声模型提供了一种新的结构化参数化。这种参数化实现了结构化噪声自适应，它将最优时不变噪声模型的数据驱动学习与响应非平稳过程中动态变化的动态参数自适应相结合。实验结果表明，我们的结构化噪声自适应提高了滤波器在噪声时变环境中的动态状态估计性能。

## 1 引言

序列状态估计是根据传入的观测随时间连续更新系统状态估计的过程。它是许多实际应用的基础，包括机器人、导航和金融建模 (Gebhardt et al., 2019 (https://arxiv.org/html/2606.14195#bib.bib7); Greenberg et al., 2023 (https://arxiv.org/html/2606.14195#bib.bib37); De Miguel et al., 2024 (https://arxiv.org/html/2606.14195#bib.bib44))。一种广泛使用的状态估计方法是卡尔曼滤波 (Kalman, 1960 (https://arxiv.org/html/2606.14195#bib.bib3))，它通过迭代前向传播潜在状态及其不确定性 (Fukumizu et al., 2013 (https://arxiv.org/html/2606.14195#bib.bib40))，然后根据新观测进行更新，来执行序列贝叶斯状态估计。然而，实现高状态估计性能常常受到一个基本问题的阻碍：指定一个在实际过程非平稳性下保持鲁棒的噪声模型 (Masreliez and Martin, 2003 (https://arxiv.org/html/2606.14195#bib.bib56))。处理此问题的一种常见方法是在更新步骤中降低测量异常值的权重，这仅仅是处理数据损坏的症状 (Duran-Martin et al., 2024 (https://arxiv.org/html/2606.14195#bib.bib53); Wang et al., 2018 (https://arxiv.org/html/2606.14195#bib.bib54); Agamennoni et al., 2012 (https://arxiv.org/html/2606.14195#bib.bib55))。相比之下，我们通过提高滤波器噪声模型在从噪声数据学习底层系统动力学方面的鲁棒性来解决这个问题。

我们提出的方法建立在 Gebhardt 等人 (2019) (https://arxiv.org/html/2606.14195#bib.bib7) 的工作基础上，他们引入了一种计算高效的状态估计技术，称为核卡尔曼规则 (Kernel Kalman Rule, KKR)。与核贝叶斯滤波器 (KBF) (Fukumizu et al., 2013 (https://arxiv.org/html/2606.14195#bib.bib40)) 类似，KKR 与核求和规则结合使用时，使用条件嵌入算子（例如转移算子）在再生核希尔伯特空间 (RKHS) 中构建核卡尔曼滤波 (KKF)。通过在 RKHS 中进行状态估计，KKF 克服了原始状态空间中所需的显式参数假设。

鉴于高维观测，Ke 等人 (2025) (https://arxiv.org/html/2606.14195#bib.bib39) 最近提出了一种谱学习算法，该算法源于随机实现理论 (Katayama, 2005 (https://arxiv.org/html/2606.14195#bib.bib38))，以近似控制 RKHS 中嵌入潜在状态演化的转移算子的数据驱动表示。由此产生的转移算子也称为嵌入式潜在转移算子 (ELTO)。由于谱学习算法允许使用 ELTO 对非线性随机过程进行数据驱动建模，因此序列状态估计 (ELTO-KF) 可以直接将这些识别出的算子与 KKR 的贝叶斯推理过程相结合。尽管如此，ELTO-KF 方法继承了一个关键限制：依赖于固定噪声协方差，无法适应非平稳过程。

优化噪声模型，即卡尔曼滤波器的过程噪声和测量噪声的协方差矩阵，以确保对非平稳过程动力学变化的鲁棒性，是一个重要的挑战，因为已知次优的噪声协方差矩阵会严重降低滤波性能 (Greenberg et al., 2023 (https://arxiv.org/html/2606.14195#bib.bib37))。一个值得注意的基于模型的解决方案是自适应扩展卡尔曼滤波器 (AEKF)，它利用滤波器的残差和新息动态调整噪声矩阵 (Wang, 1999 (https://arxiv.org/html/2606.14195#bib.bib36); Akhlaghi et al., 2017 (https://arxiv.org/html/2606.14195#bib.bib34))。另一类解决方案是数据驱动的，它将噪声模型的参数视为可学习的，并使用数值优化来获得在拟合性能方面最佳的时间不变参数 (Greenberg et al., 2023 (https://arxiv.org/html/2606.14195#bib.bib37); Becker et al., 2019 (https://arxiv.org/html/2606.14195#bib.bib1))。这两种策略都强调了噪声模型的重要作用。然而，为了促进高维复杂系统动力学的学习，在构建一种统一的、同时受益于两种参数学习策略以最终提高滤波性能的方法方面，仍存在研究空白。

在本文中，我们通过为滤波器的噪声模型引入一种新的结构化参数化来改进 ELTO-KF，提出了一种新的基于 ELTO 的自适应卡尔曼滤波方法，称为 ELTO-AKF。这种参数化实现了结构化噪声自适应，将滤波器最优时不变噪声模型的数据驱动学习与动态参数自适应相结合，以增强非平稳过程中的动态状态估计性能。我们提出的方法利用滤波器的残差和新息，将噪声协方差矩阵的自适应估计纳入数据驱动优化中。这种集成为噪声非平稳过程提供了鲁棒的协方差表示。我们对噪声协方差矩阵的结构化参数化降低了与全秩矩阵相比的计算复杂度，为动态参数自适应提供了易处理的结构。所提出的数据驱动方法实现了结构化噪声自适应，它将数据驱动的参数优化与动态参数自适应相结合，从而解决了上述研究空白。我们证明了 ELTO-AKF 在广泛具有挑战性的场景中有效，包括非平稳 LiDAR 轨迹、高维 Lorenz 系统以及用于偏微分方程 (PDE) 稀疏识别的下游去噪任务。

我们的贡献总结如下：

- •我们引入了一种新的结构化参数化，用于噪声协方差矩阵的可处理表示学习，并提出了 ELTO-AKF 方法，实现了该参数化。
- •我们证明，通过将鲁棒时不变噪声模型的基于无导数优化的学习与动态参数自适应相结合，结构化噪声自适应提高了滤波器在非平稳过程中的动态状态估计性能。
- •我们展示了 ELTO-AKF 作为鲁棒滤波器在非平稳过程中对科学数据去噪的实际效用。通过有效降低观测状态中的噪声，我们的方法提高了下游数据驱动方程发现（如识别控制 PDE）的准确性。

## 2 背景

参见图注图 1: 原始变量和潜在变量的状态空间表示。T\\mathcal\{T\} 和 O\\mathcal\{O\} 分别表示由 μ\\mu 嵌入在 RKHS 中的潜在状态的转移算子和可观测算子。

### 2.1 状态空间模型

状态空间模型 (SSM) 是描述动态系统的数学框架，由潜在状态过程 {x\(t\)∈X}\{\mathbf{x}(t)\in\mathbb{X}\} 和观测过程 {y\(t\)∈Y}\{\mathbf{y}(t)\in\mathbb{Y}\} 组成。系统演化由状态转移密度 ptrp_{tr} 控制，对于任何可测集 A\mathbb{A} 定义为 Pr(x\(t+1\)∈A|x\(t\)=x)=∫Aptr(z\|x)dzPr(\mathbf{x}(t+1)\in\mathbb{A}|\mathbf{x}(t)=\bm{x})=\int_{\mathbb{A}}p_{tr}(\bm{z}|\bm{x})d\bm{z}；以及观测密度 pobp_{ob}，将潜在状态与观测/测量联系起来，定义为 Pr(y\(t\)∈A′|x\(t\)=x)=∫A′pob(y\|x)dyPr(\mathbf{y}(t)\in\mathbb{A}^{\prime}|\mathbf{x}(t)=\bm{x})=\int_{\mathbb{A}^{\prime}}p_{ob}(\bm{y}|\bm{x})d\bm{y}。注意 A′\mathbb{A}^{\prime} 是另一个可测集。

#### 再生核希尔伯特空间中的 SSM。

由于希尔伯特空间分布嵌入允许我们非参数地表示任意概率分布并完全在此空间中进行推理，我们将状态密度嵌入到 RKHS 中。给定一个在 X\mathbb{X} 上的可测正定核 kk（例如，supx∈Xk(x,x′)<∞\text{sup}_{\bm{x}\in\mathbb{X}}k(\bm{x},\bm{x}^{\prime})<\infty）及其对应的特征映射 ψ\psi，状态 x\(t\)\mathbf{x}(t) 的概率密度由核均值嵌入 μPx\(t\)\mu_{P_{\mathbf{x}(t)}} 表示到 RKHS，记为 H\mathbb{H}。该嵌入定义为映射 μ:M+\(X\)→H,P↦∫ψ\(x\)dP\(x\)\mu:\mathbb{M}_{+}(\mathbb{X})\rightarrow\mathbb{H}, P\mapsto\int\psi(\bm{x})dP(\bm{x})，作用于 X\mathbb{X} 上任意概率测度 PP 的测度空间 M+\(X\)\mathbb{M}_{+}(\mathbb{X})。在这个嵌入的希尔伯特空间中，抽象的转移和观测可以用协方差算子来描述。设 (x,y)(\bm{x},\bm{y}) 是取值于 X×Y\mathbb{X}\times\mathbb{Y} 的随机变量，边缘分布为 PxP_{\mathbf{x}}，联合分布为 PxyP_{\mathbf{xy}}，并设 H\mathbb{H} 和 G\mathbb{G} 是对应的 RKHS，特征映射分别为 ψ\psi 和 φ\phi。根据 Baker (1973) (https://arxiv.org/html/2606.14195#bib.bib57)，协方差算子 Cx:H→H\mathcal{C}_{\mathbf{x}}:\mathbb{H}\rightarrow\mathbb{H} 和互协方差算子 Cyx:H→G\mathcal{C}_{\mathbf{y}\mathbf{x}}:\mathbb{H}\rightarrow\mathbb{G} 定义为：

Cx\displaystyle\mathcal{C}_{\mathbf{x}}:=∫ψ\(x\)⊗ψ\(x\)dPx\(x\),\displaystyle:=\int\psi(\bm{x})\otimes\psi(\bm{x})dP_{\mathbf{x}}(\bm{x}),Cyx\displaystyle\mathcal{C}_{\mathbf{y}\mathbf{x}}:=∫φ\(y\)⊗ψ\(x\)dPxy\(x,y\)。\displaystyle:=\int\phi(\bm{y})\otimes\psi(\bm{x})dP_{\mathbf{xy}}(\bm{x},\bm{y})。(1) 条件分布用条件嵌入算子 Cy\|x:=CyxCx−1\mathcal{C}_{\mathbf{y}|\mathbf{x}}:=\mathcal{C}_{\mathbf{y}\mathbf{x}}\mathcal{C}_{\mathbf{x}}^{-1} 表示 (Song et al., 2009 (https://arxiv.org/html/2606.14195#bib.bib47))。

#### 通过谱学习实现系统算子的数据驱动识别。

Ke 等人 (2025) (https://arxiv.org/html/2606.14195#bib.bib39) 提出了一种谱学习算法，用于估计系统算子的矩阵表示，即嵌入式潜在转移算子 (ELTO) 和嵌入式可观测算子 (EOO)，它们控制 RKHS 中嵌入潜在状态的演化以及其与观测的关系。潜在状态过程 {x\(t\)}\{\mathbf{x}(t)\} 基于随机实现理论 (Katayama, 2005 (https://arxiv.org/html/2606.14195#bib.bib38)) 以数据驱动的方式构建。因此，谱学习能够从观测过程 {y\(t\)}\{\mathbf{y}(t)\} 中数据驱动地识别系统算子 T:=Cx\(t+1\)\|x\(t\)\mathcal{T}:=\mathcal{C}_{\mathbf{x}(t+1)|\mathbf{x}(t)} 和 O:=Cy\(t\)\|x\(t\)\mathcal{O}:=\mathcal{C}_{\mathbf{y}(t)|\mathbf{x}(t)}。这表明系统算子的数据驱动近似更灵活，可用于提高传统基于模型的（自适应）卡尔曼滤波器的性能111关于 ELTO 的详细矩阵推导见算法3 (https://arxiv.org/html/2606.14195#alg3) 和附录A (https://arxiv.org/html/2606.14195#A1)。我们还在表1 (https://arxiv.org/html/2606.14195#S4.T1) 中与基于模型的 AEKF 基线进行了性能比较。。这两个算子（图1 (https://arxiv.org/html/2606.14195#S2.F1) 中的 T\mathcal{T} 和 O\mathcal{O}）对于接下来描述的核卡尔曼滤波是必要的。

### 2.2 核卡尔曼滤波

序列状态估计，即卡尔曼滤波，是状态空间模型的主要任务。基本目标是从观测历史中序列推断潜在状态的完整概率分布。传统的卡尔曼滤波器（图2 (https://arxiv.org/html/2606.14195#S2.F2) 左）需要系统复杂动力学的显式参数模型；然而，很难明确指定先验和似然概率密度来完成贝叶斯推理步骤。因此，直接在观测空间进行贝叶斯状态估计很繁琐。为了绕开这些参数约束，采用了核卡尔曼规则 (KKR) (Gebhardt et al., 2019 (https://arxiv.org/html/2606.14195#bib.bib7))。该方法利用第2.1节 (https://arxiv.org/html/2606.14195#S2.SS1) 中建立的协方差算子，直接在 RKHS 中进行贝叶斯更新（图2 (https://arxiv.org/html/2606.14195#S2.F2) 右），从而避免了显式密度规格的需要 (Fukumizu et al., 2013 (https://arxiv.org/html/2606.14195#bib.bib40))。

参见图注图 2: 在原始空间和 RKHS 中的卡尔曼滤波对比。通过核嵌入 μ\mu，状态向量 x\(t\)\mathbf{x}(t) 及其协方差 P\(t\)\mathbf{P}(t) 被提升为 RKHS 均值 mt\bm{m}_{t} 和协方差算子 St\bm{S}_{t}，其中 ∙−\bullet^{-} 和 ∙+\bullet^{+} 分别表示先验和后验。我们使用线性矩阵 FF 和 HH（而非非线性转移 ptrp_{tr} 和 pobp_{ob}）以提供更好的直观理解。

#### 核卡尔曼规则。

给定训练数据集 {\(x~i,xi,yi\)}i=1N\{(\tilde{\bm{x}}_{i},\bm{x}_{i},\bm{y}_{i})\}_{i=1}^{N}，Gebhardt 等人 (2019) (https://arxiv.org/html/2606.14195#bib.bib7) 构建了 KKR 以计算经验转移和可观测算子。x~i\tilde{\bm{x}}_{i} 表示前一个状态（对应于 SSM 中的 x\(t\)\mathbf{x}(t)），xi\bm{x}_{i} 表示当前状态（对应于 SSM 中的 x\(t+1\)\mathbf{x}(t+1)），并附有其测量值 yi\bm{y}_{i}222状态对 (x~i,xi)(\tilde{\bm{x}}_{i},\bm{x}_{i}) 的数据驱动构建使用附录A (https://arxiv.org/html/2606.14195#A1) 中描述的谱学习算法执行。。设 kx\(⋅,⋅\)k_{x}(\cdot,\cdot) 和 ky\(⋅,⋅\)k_{y}(\cdot,\cdot)