稀疏 Koopman 自编码器在多盆地系统中识别局部动态区域

# 稀疏Koopman自编码器识别多盆系统中的局部动力学区域  
来源：https://arxiv.org/html/2608.29057  
Aidan Li附属机构：Chandar研究实验室附属机构：Mila–魁北克AI研究所附属机构：蒙特利尔大学邮箱：[[email protected]](mailto:)  
Mahan Fathi附属机构：NVIDIA  
Sarath Chandar附属机构：Chandar研究实验室附属机构：Mila–魁北克AI研究所附属机构：蒙特利尔理工学院附属机构：加拿大CIFAR AI主席  
Ross Goroshin附属机构：Mila–魁北克AI研究所附属机构：蒙特利尔大学  

###### 摘要  
Koopman自编码器（KAEs）旨在寻找一个高维潜在表示，使非线性动力学在此表示中线性演化。然而，许多有趣的系统具有多个吸引盆，理论和实证研究表明，在标准假设下，这些多盆系统通常无法通过单一有限维全局Koopman嵌入来表示。我们假设采用具有稀疏性诱导目标、鼓励少量活跃潜在系数的编码器，可以提供潜在支撑集作为Koopman自编码器的可检查盆地建模原则。我们在训练稀疏Koopman自编码器（SKAEs）时使用这些产生稀疏潜在变量的编码器，无需盆地标签或其他区域标注，并将训练后学到的潜在支撑集视为模型生成的区域变量。在一系列程序生成的多盆系统和混沌流上，我们表明SKAEs在预测性能上优于密集潜在变量的KAEs。我们还进行了机制研究，表明SKAEs产生的潜在支撑集对于表示质量至关重要，并且可用于识别留出的盆地内部状态的区域，而密集潜在变量的KAEs则坍缩为一个无信息的单一类别。这些结果确定了稀疏潜在变量及其对应的支撑集作为无标签、可解释的区域变量，适用于具有多个局部动力学规律的非线性系统中的Koopman学习。  

## 1 引言  
为非线性动力系统学习表示仍然是机器学习、科学计算和控制领域的核心问题。一个特别有用的目标是将非线性动力学嵌入到其演化为线性或至少局部线性的坐标中，因为线性模型可以与成熟的预测、估计和控制工具结合使用，包括模型预测控制和线性二次调节器[28 (https://arxiv.org/html/2608.29057#bib.bib28),15 (https://arxiv.org/html/2608.29057#bib.bib15),20 (https://arxiv.org/html/2608.29057#bib.bib20),17 (https://arxiv.org/html/2608.29057#bib.bib17),27 (https://arxiv.org/html/2608.29057#bib.bib27)]。这一目标在理论上也有充分动机。经典动力系统结果提供了双曲不动点附近的局部拓扑线性化[14 (https://arxiv.org/html/2608.29057#bib.bib14),16 (https://arxiv.org/html/2608.29057#bib.bib16)]，而Koopman本征函数构造可以在稳定平衡点和周期轨道的吸引盆上产生线性化坐标[23 (https://arxiv.org/html/2608.29057#bib.bib23),22 (https://arxiv.org/html/2608.29057#bib.bib22)]。因此，非线性系统在特定坐标变换下可能呈现线性动力学。这些结果确立了有用坐标何时可以存在，但它们并未提供在有限数据下构建此类坐标的程序。Koopman算子理论通过将非线性状态演化提升到作用于观测函数的线性算子来形式化线性化思想[18 (https://arxiv.org/html/2608.29057#bib.bib18),19 (https://arxiv.org/html/2608.29057#bib.bib19),29 (https://arxiv.org/html/2608.29057#bib.bib29),6 (https://arxiv.org/html/2608.29057#bib.bib6)]。这一视角启发了Koopman动力学的数据驱动近似，例如DMD和eDMD[33 (https://arxiv.org/html/2608.29057#bib.bib33),36 (https://arxiv.org/html/2608.29057#bib.bib36),37 (https://arxiv.org/html/2608.29057#bib.bib37)]，最近更发展到Koopman自编码器，它学习从状态空间到潜在表示的编码器、一个线性潜在转移矩阵和一个解码器返回状态空间[35 (https://arxiv.org/html/2608.29057#bib.bib35),26 (https://arxiv.org/html/2608.29057#bib.bib26),31 (https://arxiv.org/html/2608.29057#bib.bib31),3 (https://arxiv.org/html/2608.29057#bib.bib3),34 (https://arxiv.org/html/2608.29057#bib.bib34),10 (https://arxiv.org/html/2608.29057#bib.bib10)]。这些模型提供了一条实用的学习途径：它们无需手工设计观测函数，而是直接从轨迹数据学习嵌入。  

Koopman近似面临的一个重要问题是，许多实际中有趣的非线性系统通常包含多个平衡点或吸引盆；例如，阻尼机械系统可以沉降到不同的势阱，生物或化学模型可以趋近不同的稳定平衡点，受控系统可以在具有不同局部动力学的区域之间移动。然而，理论表明，这些系统通常无法通过连续的编码器-解码器对来实现单一的有限维全局线性化[23 (https://arxiv.org/html/2608.29057#bib.bib23),5 (https://arxiv.org/html/2608.29057#bib.bib5),32 (https://arxiv.org/html/2608.29057#bib.bib32),25 (https://arxiv.org/html/2608.29057#bib.bib25)]，且经验证据也支持这一点[10 (https://arxiv.org/html/2608.29057#bib.bib10)]。在此类多稳态系统中，可以在盆地内线性化动力学，但不同吸引盆所需的线性化通常是彼此不相容的。因此，对于多吸引子系统，我们不应使用单一全局线性化来建模所有盆地，而应采用不同的盆地建模方式。  

本文提出通过诱导稀疏潜在结构作为Koopman学习多吸引子系统的实用且可解释的方法。通过促使状态在提升的潜在空间中仅激活一小部分坐标，我们可以激励状态的不同区域占据不同的活跃坐标，因为相邻状态应具有相似的潜在嵌入，从而能够学习不同的局部区域。在这种稀疏表示中，潜在向量中的非零系数值可以为选定区域内的预测提供连续坐标，而活跃索引则提供一个可检查的离散支撑集对象，可用于跨状态识别适当的局部区域。稀疏编码和LISTA风格的编码器[13 (https://arxiv.org/html/2608.29057#bib.bib13),8 (https://arxiv.org/html/2608.29057#bib.bib8),1 (https://arxiv.org/html/2608.29057#bib.bib1)]为此目的提供了正确的归纳偏置。它们自然地诱导分段线性的、子空间并集的结构[30 (https://arxiv.org/html/2608.29057#bib.bib30),7 (https://arxiv.org/html/2608.29057#bib.bib7),9 (https://arxiv.org/html/2608.29057#bib.bib9),13 (https://arxiv.org/html/2608.29057#bib.bib13)]，这与不同吸引子或盆地在理论上需要不同局部线性化的设定非常匹配。并发工作LpWorldModel (LpWM) 独立地得出了关于稀疏表示的密切相关观点，发现支撑集可以识别离散动力学区域，而特征幅度编码区域内的连续状态[21 (https://arxiv.org/html/2608.29057#bib.bib21)]。LpWM研究用于规划的受控、动作条件化的JEPA世界模型，而我们则通过Koopman框架研究多盆动力学，使用稀疏支撑集作为在学到的线性潜在演化下的无标签区域变量。  

我们假设稀疏潜在Koopman自编码器会将局部动力学区域分配给不同的潜在支撑集类别，从而在没有盆地监督的情况下产生一个学到的区域变量。然后，定期解码和重新编码状态可以通过在轨迹穿越状态空间时重新选择正确的局部动力学来刷新潜在嵌入的质量[10 (https://arxiv.org/html/2608.29057#bib.bib10)]。  

#### 贡献。  
我们引入了稀疏Koopman自编码器（SKAEs），表明稀疏潜在支撑集可以作为无标签的区域变量，调和特定盆地的Koopman线性化与单一训练模型的实用性。在多盆和混沌基准测试中，SKAEs（i）改进了长期预测，同时（ii）产生的支撑集对于精确滚动是功能上必需的，并且（iii）可解释为涌现的局部动力学区域。  

## 2 问题表述  
参见插图图1：顶部：程序生成的多盆系统，其中灰色流线是真实向量场，彩色点标记支撑集类别/盆地匹配，黑点标记支撑集类别/盆地不匹配。后验地将学到的LISTA支撑集类别映射到每个类别的主要评估盆地。底部：Dysts相位图，留出的真实数据为灰色，预测为彩色。红线是种子0密集潜在变量MLP的预测，蓝线是最佳种子0 LISTA变体的预测。密集MLP在预测Chua系统时犯了重大错误，而LISTA则没有。  
引言部分提出了多盆版本的Koopman学习。给定非线性系统的采样轨迹，目标是学习一个能够重建状态的潜在表示，其演化是线性的，并且无需告知每个观测来自哪个盆地或局部动力学区域。我们按照存储的基准观测的节奏来表述问题。对于每个系统，令$\mathcal{X} \subseteq \mathbb{R}^{d_x}$为观测到的状态空间，且  
$$x_{k+1} = F_{\Delta t}(x_k), \quad x_k \in \mathcal{X}, \tag{1}$$  
其中$x_k \in \mathbb{R}^{d_x}$是第$k$个存储样本的状态，$F_{\Delta t}$表示基于底层动力学转换到下一个离散观测步骤，$\Delta t$是系统特定的观测间隔。因此，预测由反复应用映射$F_{\Delta t}$来定义；一个$h$步预测意味着应用$h$次$F_{\Delta t}$；我们将$k$次组合记为$F_{\Delta t}^{(k)}$。由于$\Delta t$可能在不同系统间不同，相同$h$值可能对应不同的物理时间。  

#### 吸引盆。  
许多感兴趣的系统是多稳态的：不同的初始条件可以趋近不同的长期行为。一个不动点是满足$F_{\Delta t}(x^*) = x^*$的状态$x^*$。更一般地，一个轨迹可能趋近一个吸引子$A$，例如稳定平衡点、极限环、可数有限集或混沌不变集。吸引子$A$的吸引盆是轨迹收敛到$A$的初始条件集合：  
$$\mathcal{B}(A) = \left\{x_0 \in \mathbb{R}^{d_x} : \inf_{a \in A} \left\lVert F_{\Delta t}^{(k)}(x_0) - a \right\rVert_2 \to 0 \text{ as } k \to \infty \right\}. \tag{2}$$  
当多个吸引子共存时，它们的盆将状态空间划分为若干盆地（除了盆地边界）。这为本文定义了场景。任务是学习一个表示，该表示能够支持线性预测，其中适当的线性规律取决于状态在多盆几何中的位置。  

#### Koopman理论。  
存储步映射$F_{\Delta t}$在标量观测函数$g: \mathcal{X} \to \mathbb{R}$上诱导一个Koopman算子$\mathcal{K}$，通过组合：  
$$(\mathcal{K}g)(x) = g(F_{\Delta t}(x)).$$  
尽管$F_{\Delta t}$可能是非线性的，但$\mathcal{K}$在观测函数空间上是线性的。有限维Koopman近似寻找一个向量观测函数$\Phi: \mathcal{X} \to \mathbb{R}^{d_z}$和一个矩阵$K$，使得  
$$\Phi(F_{\Delta t}(x)) \approx K\Phi(x),$$  
同时保留足够的信息以重构状态。  

#### Koopman自编码器。  
我们在此设置下研究Koopman自编码器（KAEs）。模型学习一个编码器$E_\theta: \mathbb{R}^{d_x} \rightarrow \mathbb{R}^{d_z}$，一个解码器$D_\phi: \mathbb{R}^{d_z} \rightarrow \mathbb{R}^{d_x}$，以及一个潜在线性转移矩阵$K \in \mathbb{R}^{d_z \times d_z}$。对于任意时间步$k$的观测$x_k$，相应的开环$h$步预测为  
$$\hat{x}_{k+h} = D_\phi \left( K^h E_\theta(x_k) \right). \tag{3}$$  
相同的矩阵$K$在滚动的每一步都被应用，因此预测所需的任何状态依赖性结构必须编码在学到的表示中，而不是在提供的区域标签中。  

#### 训练窗口。  
训练使用相邻存储观测的窗口。对于一批$B$个长度为$L$的滚动窗口  
$$\{x_{b,k}, x_{b,k+1}, \ldots, x_{b,k+L}\}_{b=1}^B,$$  
其中$b$索引窗口，$\ell$索引窗口内的偏移，模型对每个观测到的状态进行编码，从初始编码状态进行滚动，并解码重构观测和潜在预测。编码/重构的量定义为$\ell=0,\ldots,L$，而滚动/预测的量定义为$\ell=1,\ldots,L$：  
$$\begin{aligned}
z_{b,k+\ell}^{\rm enc} &= E_\theta(x_{b,k+\ell}), \\
z_{b,k+\ell}^{\rm roll} &= K^\ell z_{b,k}^{\rm enc}, \\
x_{b,k+\ell}^{\rm rec} &= D_\phi(z_{b,k+\ell}^{\rm enc}), \\
\hat{x}_{b,k+\ell} &= D_\phi(z_{b,k+\ell}^{\rm roll}).
\end{aligned} \tag{4}$$  
后面描述的训练损失是基于这些重构和滚动的量构建的。每次应用$K$被解释为一个存储基准步，与公式1 (https://arxiv.org/html/2608.29057#S2.E1)中的观测映射匹配。  

#### 模型无监督地发现盆地。  
在预期的训练和部署设置中，模型没有被给予盆地标签或轨迹到盆地的分配。当基准盆地标签可用时，它们被保留用于事后评估；它们不用于选择模型、训练编码器或转移矩阵，或为支撑集条件预测选择支撑集。  

## 3 方法  
### 3.1 稀疏支撑集作为局部区域变量  
对于第2节 (https://arxiv.org/html/2608.29057#S2)中多盆系统的有限维Koopman表示应编码两种互补量：(i) 在盆地内线性化动力学的连续坐标，以及 (ii) 指示哪个局部线性化是活跃的。我们使用稀疏性来耦合这两个作用。如果状态$x$由稀疏潜在编码$z$表示，则$z$的支撑集可以充当区域变量，而非零系数值则为相应的局部线性表示提供坐标。给定一个过完备字典$D$，稀疏编码通过求解Lasso目标来估计$z$：  
$$z^{\star}(x) = \operatorname*{arg\,min}_{z \in \mathbb{R}^{d_z}} \frac{1}{2} \left\lVert x - Dz \right\rVert_2^2 + \lambda_{\rm sc} \left\lVert z \right\rVert_1, \quad \lambda_{\rm sc} > 0. \tag{5}$$  
该式寻找一个具有少量非零系数的编码$z$来重构输入$x$。换句话说，它鼓励对欠定问题（经典地，$\ell_0$而不是$\ell_1$将找到具有最少非零系数的最稀疏解）的稀疏解。