基于仿真的滤波生成模型：公式与实证比较

# 基于模拟滤波的生成模型：公式与实证比较
来源：https://arxiv.org/html/2609.16317
Wei Denghttps://orcid.org/0000-0002-9655-8281Bamdad Hosseini†https://orcid.org/0000-0001-5053-6223Amirhossein Taghvaei⋆https://orcid.org/0000-0002-1536-892X††thanks:⋆Department of Aeronautics & Astronautics, University of Washington, Seattle;mohd9485@uw\.edu,amirtag@uw\.edu\.††thanks:†Department of Applied Mathematics, University of Washington, Seattlemohd9485@uw\.edu,bamdadh@uw\.edu\.††thanks:‡ML Research, Morgan Stanleyweideng056@gmail\.com\.††thanks:Part of this work was carried out while Mohammad Al\-Jarrah was a ML Research intern at Morgan Stanley\. Mohammad Al\-Jarrah and Amirhossein Taghvaei are supported by the National Science Foundation \(NSF\) award EPCN\-2318977\. Bamdad Hosseini is supported by the NSF award DMS\-233767\.

###### 摘要

本文提出了一种统一的公式，并对用于非线性滤波问题的生成模型方法进行了受控的数值比较。在此公式下，分析步骤通过将预测分布传输至后验分布来实现，不同方法仅在于如何选择和学习该传输。我们推导了三种新的滤波器，分别基于随机插值、其确定性流匹配极限，以及通过前向-后向随机微分方程实现的薛定谔桥。我们开发了一种两阶段调参流程，将生成模型的训练与后续的在线细化分开。将所得方法与最优传输滤波器（OTF）、Knothe-Rosenblatt滤波器（KRF）、序贯重要性重采样（SIR）粒子滤波器以及集合卡尔曼滤波器（EnKF）在精度、计算时间、以及对集合规模和状态维度的敏感性方面进行了比较。结果表明，每一种生成滤波器都能解决EnKF和SIR无法处理的多模态后验问题，没有单一的生成框架占据绝对优势，首选方法取决于可用的在线预算和集合规模，并且这些滤波器在产生的粒子轨迹平滑度上有所不同。

###### 关键词

估计，生成模型，非线性滤波，最优传输，粒子滤波

## I引言

深度生成模型已被证明在广泛的应用领域[1 (https://arxiv.org/html/2609.16317#bib.bib2)]中，能够有效地从复杂的高维分布中进行采样。在非线性滤波中，出现了一个结构上类似的问题，其中关注的目标是在给定一系列噪声观测值下动态系统状态的后验分布，算法必须用有限样本集合来表示该后验。滤波设置的特点在于其递归性质：后验随时间演变，样本必须在每次观测到达时在线生成。本文将几种生成建模框架应用于此问题，并进行实证比较。

使用生成模型进行滤波的动机源于近期关于基于耦合或传输的滤波器的研究，在这些工作中，分析（条件化）步骤是通过一个将预测分布传输至后验分布的生成模型来实现的[2 (https://arxiv.org/html/2609.16317#bib.bib18),3 (https://arxiv.org/html/2609.16317#bib.bib9),4 (https://arxiv.org/html/2609.16317#bib.bib3),5 (https://arxiv.org/html/2609.16317#bib.bib16),6 (https://arxiv.org/html/2609.16317#bib.bib11),7 (https://arxiv.org/html/2609.16317#bib.bib19),8 (https://arxiv.org/html/2609.16317#bib.bib8)]。两种构造方法特别受到关注：Knothe-Rosenblatt（KR）重排滤波器（KRF）[6 (https://arxiv.org/html/2609.16317#bib.bib11)]和最优传输滤波器（OTF）[9 (https://arxiv.org/html/2609.16317#bib.bib10),8 (https://arxiv.org/html/2609.16317#bib.bib8)]。两者的底层是相同的结构对象：一个将独立的状态-观测耦合传输至它们的联合定律的分块三角映射\(y,x\mapsto(y,T(y,x))\)[10 (https://arxiv.org/html/2609.16317#bib.bib15)]。两者仅在如何表示和估计此类映射上有所不同。

在本文中，我们利用相同的三角结构，将多种现代生成建模框架重新用于滤波任务，包括条件流匹配[11 (https://arxiv.org/html/2609.16317#bib.bib17)]、随机插值泛化[12 (https://arxiv.org/html/2609.16317#bib.bib6)]以及薛定谔桥[13 (https://arxiv.org/html/2609.16317#bib.bib12)]。除了开发这些方法，我们的目标是进行完整的实证研究：我们从精度、计算成本、鲁棒性以及调参和实现所需的工作量方面比较所得的滤波器。数据同化的生成方法最近在[14 (https://arxiv.org/html/2609.16317#bib.bib5),15 (https://arxiv.org/html/2609.16317#bib.bib4)]中出现；然而，这些工作单独开发了一种机制，据我们所知，在共同的传输公式、相同的集合和匹配的计算预算下进行受控比较尚不可用。这一空白促使了本研究。

本文的结构和贡献总结如下：第II节[https://arxiv.org/html/2609.16317#S2]阐述了滤波问题，并给出了分析步骤在每次观测时间必须解决的条件化问题。第III节[https://arxiv.org/html/2609.16317#S3]介绍了三角传输公式，在此公式下，生成模型可以被调整以适应条件化任务，并推导了作为该模板实例的三个滤波器：随机插值滤波器（SIF）、其确定性流匹配特例（FMF）以及薛定谔桥滤波器（SBF），总结于表I [https://arxiv.org/html/2609.16317#S3.T1]。第IV节[https://arxiv.org/html/2609.16317#S4]开发了专门为生成滤波模型设计的两阶段调参流程，该流程将学习到的生成模型的校准与随后的滤波更新校准分开，并提供了一种通用的、可复现的方法来选择每个滤波器的算法参数。本节还报告了针对四个已确立的替代方法（即OTF、KRF、集合卡尔曼滤波器（EnKF）[16 (https://arxiv.org/html/2609.16317#bib.bib14)]和序贯重要性重采样（SIR）[17 (https://arxiv.org/html/2609.16317#bib.bib13)]粒子滤波器）在两个基准测试上的受控数值比较。第V节[https://arxiv.org/html/2609.16317#S5]比较了滤波器的精度-计算成本权衡及其对问题维度和集合规模的敏感性，指出了它们之间更细微的差异，并以未来工作方向作为结尾。

## II问题阐述

考虑以下随机动态系统：
\[
X_t \sim a(\cdot \mid X_{t-1}),\quad X_0 \sim \pi_0,\quad Y_t \sim h(\cdot \mid X_t),\tag{1}
\]
其中 \(X_t \in \mathbb{R}^n\) 是隐藏状态，\(Y_t \in \mathbb{R}^m\) 是观测值，\(\pi_0\) 是状态的初始分布，\(a(x' \mid x)\) 是动力学的转移核，\(h(y \mid x)\) 是给定状态下观测的似然函数。关注的目标是后验分布 \(\pi_t := P_{X_t \mid Y_1,\ldots,Y_t}\)，它允许两步递推：
\[
\pi_{t|t-1} = \mathcal{A}[\pi_{t-1}],\qquad \pi_t = \mathcal{B}_{Y_t}[\pi_{t|t-1}].\tag{2}
\]
传播算子 \(\mathcal{A}\) 通过动力学传输分布，而条件化算子 \(\mathcal{B}_y\) 应用贝叶斯法则。对于在 \(\mathbb{R}^n\) 上具有密度的分布 \(\pi\)，它们定义为：
\[
\begin{aligned}
\text{(传播)} \quad &\pi \mapsto \mathcal{A}[\pi] := \int_{\mathbb{R}^n} a(\cdot \mid x) \, \pi(x) \, \mathrm{d}x, \tag{3a} \\
\text{(条件化)} \quad &\pi \mapsto \mathcal{B}_y[\pi] := \frac{h(y \mid \cdot) \, \pi(\cdot)}{\int_{\mathbb{R}^n} h(y \mid x) \, \pi(x) \, \mathrm{d}x}. \tag{3b}
\end{aligned}
\]
(2) [https://arxiv.org/html/2609.16317#S2.E2] 的一种基于传输的数值实现用 \(N\) 个粒子 \(\{X_t^1,\ldots,X_t^N\}\) 的集合表示 \(\pi_t\)，粒子通过动力学传播，然后由映射 \(T_t: \mathbb{R}^m \times \mathbb{R}^n \to \mathbb{R}^n\) 更新：
\[
\begin{aligned}
&X_{t|t-1}^i \sim a(\cdot \mid X_{t-1}^i), \tag{4a} \\
&X_t^i = T_t(Y_t, X_{t|t-1}^i), \tag{4b}
\end{aligned}
\]
其中 \(i=1,\ldots,N\)。映射 \(T_t\) 允许依赖于辅助随机性，此时 (4b) [https://arxiv.org/html/2609.16317#S2.E4.2] 是一个随机更新。后验近似为经验分布 \(\pi_t \approx \frac{1}{N} \sum_{i=1}^N \delta_{X_t^i}\)，其中 \(\delta_x\) 是在 \(x\) 处的狄拉克测度；与粒子滤波器不同，该集合是均匀加权的。预测步骤 (4a) [https://arxiv.org/html/2609.16317#S2.E4.1] 仅需要模拟动力学的能力。困难在于分析步骤 (4b) [https://arxiv.org/html/2609.16317#S2.E4.2]，特别是识别一个精确的映射 \(T_t\)。为了清晰起见，我们在此单独阐述此问题，省略时间索引。

**问题陈述**：令 \(\{X^i\}_{i=1}^N\) 是来自预测分布 \(\pi\) 的独立样本，并令 \(Y^i \sim h(\cdot \mid X^i)\) 为为每个集合成员模拟的观测值。目标是构建一个映射 \(T\) 以重现条件化算子 (3b) [https://arxiv.org/html/2609.16317#S2.E3.2]：
\[
\begin{aligned}
&\text{给定：} \quad \bigl(Y^i,\, X^i\bigr)_{i=1}^N,\quad X^i \sim \pi,\quad Y^i \sim h(\cdot \mid X^i), \\
&\text{寻找：} \quad \text{一个映射 } T: \mathbb{R}^m \times \mathbb{R}^n \to \mathbb{R}^n \text{ 使得 } \\
&T(y, \cdot)_{\#} \pi = \mathcal{B}_y[\pi], \qquad \forall\, y \in \mathbb{R}^m,
\end{aligned}
\]
其中 \(\#\) 表示前推算子。我们将数对 \(\bigl(Y^i, X^i\bigr)_{i=1}^N\) 称为*训练数据*。它们的生成是*无似然*的，意味着不需要对似然函数 \(h\) 进行求值，而只需从中采样的能力。

## III生成滤波器

我们首先介绍本文研究的生成滤波器的共同三角结构，并指明各个方法的特点。

### III-A 使用三角映射进行条件化

统一元素是分析步骤 (4b) [https://arxiv.org/html/2609.16317#S2.E4.2] 由一个*三角*映射实现，该映射使用生成建模框架从训练数据中学习。我们称映射 \(G: \mathbb{R}^m \times \mathbb{R}^n \to \mathbb{R}^m \times \mathbb{R}^n\) 是三角的，如果存在一个映射 \(T: \mathbb{R}^m \times \mathbb{R}^n \to \mathbb{R}^n\) 使得
\[
G(y,z) = \bigl(y, T(y,z)\bigr), \quad \forall (y,z) \in \mathbb{R}^m \times \mathbb{R}^n. \tag{5}
\]
三角映射的特征在于它保持 \(y\) 分量固定<sup>1</sup>。尽管在本文未考虑的更一般情况下，\(y\) 分量允许根据任何依赖于 \(y\) 的映射变化。三角映射对于条件化非常有用，基于以下基本事实：对于 \(\mathbb{R}^m \times \mathbb{R}^n\) 上的任何联合分布 \(P_{Y,X}\) 和 \(\mathbb{R}^n\) 上的任何参考分布 \(P_Z\)，以下成立[10 (https://arxiv.org/html/2609.16317#bib.bib15),8 (https://arxiv.org/html/2609.16317#bib.bib8)]：
\[
G_{\#} (P_Y \otimes P_Z) = P_{Y,X} \quad \Rightarrow \quad T(y, \cdot)_{\#} P_Z = P_{X \mid Y=y}. \tag{6}
\]
这为将生成模型重新用于解决第II节[https://arxiv.org/html/2609.16317#S2]提出的条件化问题提供了一个方法：(i) 令*目标* \(P_{Y,X}\) 为训练数据 \(\bigl(Y^i, X^i\bigr)_{i=1}^N\) 的联合分布；(ii) 令*源*为数对 \(\bigl(Y^i, \overline{X}^i\bigr)_{i=1}^N\) 的分布，其中 \(\overline{X}^i\) 是通过随机置换 \(X^i\) 获得的，因此源是乘积测度 \(P_Y \otimes P_X\)；(iii) 训练一个生成模型以学习形式为 (5) [https://arxiv.org/html/2609.16317#S3.E5] 的三角映射（确定性或随机），将源传输至目标。任何此类映射都满足 (6) [https://arxiv.org/html/2609.16317#S3.E6] 的假设，因此其第二个分块满足
\[
T(y, \cdot)_{\#} P_X = P_{X \mid Y=y} = \mathcal{B}_y[\pi], \qquad \forall\, y \in \mathbb{R}^m. \tag{7}
\]
条件 (7) [https://arxiv.org/html/2609.16317#S3.E7] 并未唯一指定 \(T\)，本文所介绍的方法在如何选择特定解和学习该解上有所不同。

### III-B 最优传输滤波器 (OTF)

OTF [8 (https://arxiv.org/html/2609.16317#bib.bib8)] 选择 \(T(y, \cdot)\) 为对于任何观测值 \(y\)，从 \(P_X\) 到 \(P_{X \mid Y=y}\) 的最优传输（OT）映射。如果OT代价是二次的，则OT映射可以通过求解极大极小问题得到[8 (https://arxiv.org/html/2609.16317#bib.bib8), eq (8c)]：
\[
\max_f \min_T \; J(f,T) := \mathbb{E}\bigl[f(Y,X)\bigr] + \mathbb{E}\left[\frac{1}{2}\bigl\|T(Y,\overline{X}) - \overline{X}\bigr\|^2 - f\bigl(Y,T(Y,\overline{X})\bigr)\right], \tag{8}
\]
其中第一个期望是关于联合定律 \(P_{Y,X}\) 的，第二个期望是关于独立耦合 \(P_Y \otimes P_X\) 的。在数值实现中，\(f\) 和 \(T\) 都由残差网络参数化，并进行对抗训练。

### III-C 流匹配滤波器 (FMF)

在FMF中，映射 \(T\) 被实现为一个常微分方程（ODE）[11 (https://arxiv.org/html/2609.16317#bib.bib17)]的时间一流：对于每个 \((y,x) \in \mathbb{R}^m \times \mathbb{R}^n\)，我们设 \(T(y,x) = \xi_1\)，其中
\[
\frac{\mathrm{d}}{\mathrm{d}\tau} \xi^i_{\tau} = b_{\theta}\bigl(y, \xi^i_{\tau}, \tau\bigr), \quad \xi^i_0 = x, \tag{9}
\]
且 \(b_{\theta}: \mathbb{R}^m \times \mathbb{R}^n \times [0,1] \to \mathbb{R}^n\) 是一个学习的向量场。人工时间 \(\tau \in [0,1]\) 不同于滤波时间 \(t\)。观测 \(y\) 作为参数进入 (9) [https://arxiv.org/html/2609.16317#S3.E9]，并在整个流过程中保持固定。