分离子的生成式学习

# 分离面的生成式学习
来源：https://arxiv.org/html/2608.14743  
Ellis R\. Crabtree (https://orcid.org/0000-0000-0000-0000)  
所属机构：预测分析系  
所属机构：约翰斯·霍普金斯所有儿童医院  
所属机构：佛罗里达州圣彼得堡，邮编33701  
电子邮箱：[ellis@jhmi\.edu](mailto:)  

Dimitris G\. Giovanis (https://orcid.org/0000-0000-0000-0000)  
所属机构：土木与系统工程系  
所属机构：约翰斯·霍普金斯大学  
所属机构：马里兰州巴尔的摩，邮编21218  
电子邮箱：[dgiovan1@jhu\.edu](mailto:)  

Anastasia Georgiou (https://orcid.org/0000-0000-0000-0000)  
所属机构：化学与生物分子工程系  
所属机构：约翰斯·霍普金斯大学  
所属机构：马里兰州巴尔的摩，邮编21218  
电子邮箱：[ageorgi3@jhu\.edu](mailto:)  

George Datseris (https://orcid.org/0000-0002-6427-2385)  
所属机构：数学与统计系  
所属机构：埃克塞特大学  
所属机构：埃克塞特，EX4 4QJ  
电子邮箱：[g\.datseris@exeter\.ac\.uk](mailto:)  

Ioannis G\. Kevrekidis (https://orcid.org/0000-0000-0000-0000)  
所属机构：化学与生物分子工程系  
所属机构：约翰斯·霍普金斯大学  
所属机构：马里兰州巴尔的摩，邮编21218  
电子邮箱：[yannisk@jhu\.edu](mailto:)  

###### 摘要

在多稳态、多维动力系统中，识别和重构分隔吸引盆的边界是一个计算动力学中的基本挑战。这些（通常几何结构复杂的）结构控制着转换路径和其他重要的大时间尺度行为，但它们通常采样不足，因为在直接模拟过程中其邻域并未被常规访问。针对其近似构造的传统计算方法（包括流形延拓、边界追踪和二分法算法等）在高维系统中面临计算限制，并且需要*先验*的动力系统知识及其方程。简单的采样方法，如相空间的随机或均匀采样，通常无法定量近似分离面及其整体结构，且随着系统维度增加会越来越受到维度灾难的影响。

我们提出并实现了一个结合监督分类和生成模型的框架来解决这一挑战。我们的方法首先对均匀或随机采样的初始条件训练神经网络分类器，关键在于这些初始条件需用其在目标系统中对应的吸引盆进行标记。利用训练好的分类器的不确定性度量来量化决策边界，该方法随后识别出分类器中的这些高不确定性区域和边界，将其作为初步的近似分离面。随后，专门针对高不确定性区域的样本训练基于分数的生成模型，最终生成与构成采样区域中吸引盆之间分离面的流形（或靠近该流形的区域）上的样本经验密度一致的样本密度。该方法利用了（a）判别模型用于全局相空间划分和（b）生成模型用于详细几何采样的互补优势，形成了一个系统性的、迭代的、数据驱动的框架，能够生成与（近似）分离面流形在经验上一致的重构结果。

*关键词*生成模型⋅\\cdot不确定性量化⋅\\cdot动力系统

## 1引言

多稳态系统建模中的一个有价值的步骤是表征其吸引盆的边界，通常称为*分离面*。这些分离面往往具有复杂而精细的几何结构，甚至可能是分形结构。通常，这些分离面对应于鞍型不变集的稳定流形、不稳定的（源型）不变集（如极限环）或其他复杂流形。在多稳态动力系统中\[14 (https://arxiv.org/html/2608.14743#bib.bib25),28 (https://arxiv.org/html/2608.14743#bib.bib24)\]，从相空间中任意、一般点初始化的轨迹倾向于收敛到多个吸引集合之一——不动点、极限环、奇怪吸引子或其他吸引不变流形。每个吸引子的吸引盆包含那些前向轨迹渐近接近该吸引子的初始条件集合\[8 (https://arxiv.org/html/2608.14743#bib.bib26)\]。对这些系统进行长时间数值模拟时，常常难以充分详细地采样其相空间，因为它们的轨迹会有效地被困在吸引子的邻域中，产生统计上的平稳行为，仅提供单个吸引盆内的局部动力学信息。

表征分离面带来了重大的计算和理论困难，这推动了计算动力学及相关领域的大量研究。原则上，如果能够通过新兴技术（如基于*递归的* \[9 (https://arxiv.org/html/2608.14743#bib.bib27)\]或*特征化与分组* \[7 (https://arxiv.org/html/2608.14743#bib.bib28)\]方法）对估计的吸引盆进行密集覆盖，那么识别分离面可能是可行的。然而，随着系统维度增加，这很快变得不可行，因为密集覆盖吸引盆的成本呈指数级增长。在分离面附近采样点以增强计算轨道在其附近停留的时间同样具有挑战性，因为分离面通常对应于相空间中概率密度低的区域，且通常具有正式零体积。这就导致了这样的问题：控制吸引盆之间转换和决定系统对扰动响应的区域，恰恰是典型轨迹访问最少的区域。

应用数学的最新进展为识别和近似高维动力系统中的分离面提供了几种互补的方法。这些方法包括流形延拓\[24 (https://arxiv.org/html/2608.14743#bib.bib11),2 (https://arxiv.org/html/2608.14743#bib.bib33),22 (https://arxiv.org/html/2608.14743#bib.bib32),20 (https://arxiv.org/html/2608.14743#bib.bib31)\]、边界追踪和二分法算法\[30 (https://arxiv.org/html/2608.14743#bib.bib12)\]、或Lyapunov指数蒙特卡洛采样\[1 (https://arxiv.org/html/2608.14743#bib.bib30)\]等技术。这些以及更基础技术的应用跨越了多个领域，包括化学动力学和反应器设计（识别化学反应中的稳态和分岔）\[34 (https://arxiv.org/html/2608.14743#bib.bib10),11 (https://arxiv.org/html/2608.14743#bib.bib9)\]、生态学（种群动态和生态系统中的状态转变）\[29 (https://arxiv.org/html/2608.14743#bib.bib8)\]、气候科学\[13 (https://arxiv.org/html/2608.14743#bib.bib13)\]，甚至全面的、极高维度的气候模型\[3 (https://arxiv.org/html/2608.14743#bib.bib29)\]。重构分离面不仅提供了关键转变阈值的表征，还生成了相空间区域的代表性样本，而这些区域在直接数值模拟中通常被显著采样不足，同时上述提到的延拓等方法需要对方程有显式了解。

与此同时，机器学习领域已经开发出了强大的生成模型框架，能够从有限样本集中学习采样复杂概率分布，并生成反映训练数据统计特性的新样本，早期工作包括变分自编码器和生成对抗网络等模型\[23 (https://arxiv.org/html/2608.14743#bib.bib6),18 (https://arxiv.org/html/2608.14743#bib.bib7)\]。基于分数的生成模型（SGMs）是一类特别有前景的深度生成模型\[33 (https://arxiv.org/html/2608.14743#bib.bib1),32 (https://arxiv.org/html/2608.14743#bib.bib2)\]。这些模型学习分数函数∇xlogp\(x\)\\nabla\_{x}\\log p\(x\)，其中p⁡\(x\)p\(x\)是目标数据分布，并利用这个学习到的分数通过Langevin动力学或求解逆时随机微分方程来生成样本。此外，这些架构已被应用于气候建模问题，专门针对在临界点和分离面区域附近生成样本\[31 (https://arxiv.org/html/2608.14743#bib.bib5)\]，证明了深度生成模型可以专门用于关注相空间中的动力学关键区域。至关重要的是，最近的研究发现了SGMs等生成模型与统计物理学和增强采样中的经典技术之间的联系\[4 (https://arxiv.org/html/2608.14743#bib.bib3),6 (https://arxiv.org/html/2608.14743#bib.bib14)\]。此外，SGMs和其他生成模型已被证明可以在流形上生成密度一致的数据\[16 (https://arxiv.org/html/2608.14743#bib.bib15),5 (https://arxiv.org/html/2608.14743#bib.bib16)\]，并在高维生成任务中展示了最先进的性能，并且它们表现出恢复嵌入在高维环境空间中的低维流形结构的显著能力\[27 (https://arxiv.org/html/2608.14743#bib.bib17)\]。这使得将深度神经网络的表示能力与物理信息约束和采样策略相结合的混合方法成为可能。

作为这些努力的延续/扩展，本文提出了一个框架，结合了（a）吸引盆的监督分类和（b）由生成模型执行的流形上的密度采样，以实现对多稳态动力系统中分离面的全面表征和重构。方法步骤如下：

1.  1\.吸引盆分类：训练神经网络分类器，根据提供的相空间坐标和已知（已标记）的吸引盆，预测其所属吸引盆。
2.  2\.决策边界识别：借助不确定性度量提取训练好的分类器的决策边界；在适当的条件下，这些边界将近似真实的分离面。
3.  3\.边界的生成建模：专门针对靠近已识别决策边界的高不确定性数据训练基于分数或其他生成模型，从而实现对分离面区域的针对性采样。
4.  4\.精化与可视化：使用生成的样本迭代精化分离面近似，并生成吸引盆边界几何结构的高保真视觉表示。

这种集成方法利用了判别模型和生成模型的互补优势：分类提供全局相空间划分和吸引盆边界定位，而生成模型指导（从而增强）构成这些边界的几何结构的详细采样和重构。该框架特别适用于传统延拓或二分法方法在计算上变得不可行的高维系统，并提供了一种数据驱动（并且与经验数据密度一致）的途径，从模拟或实验时间序列数据中提取分离面的几何结构。

## 2提出的数学框架

考虑一个由流Φt\(x\)=x\(t\)\\Phi^{t}(\\mathbf{x})=\\mathbf{x}(t)控制的Rn\\mathbb{R}^{n}中的自治动力系统。假设该系统包含k个不同的吸引子A1,A2,...,AkA_{1},A_{2},\\ldots,A_{k}，及其对应的吸引盆B1,B2,...,BkB_{1},B_{2},\\ldots,B_{k}。吸引盆边界∂Bi\\partial B_{i}是（n−1）维集合（通常情况下），它们与鞍型不变集S的稳定流形Ws\(S\)W^{s}(S)重合。这些鞍点、不稳定周期轨道或混沌鞍在组织相空间拓扑结构和介导扰动下吸引盆之间的转换中起着关键作用。

我们提出的方法使用分类神经网络来为给定的初始条件分类（分配正确的）吸引盆BiB_{i}。除了为给定点分配正确的吸引盆外，分类器还报告一个不确定性度量（即网络对其预测的吸引盆正确性的确定程度）。本文使用的不确定性度量基于蒙特卡洛丢弃法\[15 (https://arxiv.org/html/2608.14743#bib.bib4)\]，用熵表示。这个熵H是网络在多次运行（每次运行时临时关闭不同的随机神经元子集，即丢弃）时预测变化程度的度量；如果预测始终一致，H则低，分类器是自信的；但如果它们不一致，H则高，表明该点可能位于不确定区域——例如靠近吸引盆之间的边界。

然后，将初始条件作为训练数据，并使用不确定性度量作为标签提供给生成模型；这样就可以在高不确定性的相空间区域生成新点，这些点自然会位于系统吸引盆之间或附近的边界处。根据采样密度和模型参数，这些高不确定性点作为局部和全局分离面和/或其周围相空间区域的代理采样点。算法1和2概述了该框架。

**算法1** 吸引盆分类器网络训练与推断
输入：训练数据D1=\{\(x\(t0\)i,Bi\)\}i=1N\\mathcal{D}\_{1}=\{(x(t\_{0})\_{i},B\_{i})\}\_{i=1}^{N}（来自动力系统的初始条件x⁡\(t0\)x(t\_{0})，以及由初始条件的吸引盆BiB\_{i}给出的离散标签，即经过一段时间t后从每个初始条件到达的吸引盆），带有丢弃层的神经网络f⁡\(D1\);θ\)f(\\mathcal{D}\_{1};\\theta)，损失函数L\\mathcal{L}，训练轮数EE，批大小BB，蒙特卡洛采样次数MM

1:— 训练阶段 —

2:for epoch =1 to Edo

3: 打乱训练数据

4: for each batch {(xb,yb)}b=1B{(x\_{b},y\_{b})}\_{b=1}^{B} do

5:  启用丢弃

6:  计算预测值：y^b=f⁡(xb,θ)\\hat{y}\_{b}=f(x\_{b};\\theta)

7:  计算损失：Lbatch=L⁡(y^b,yb)\\mathcal{L}\_{\\text{batch}}=\\mathcal{L}(\\hat{y}\_{b},y\_{b})

8:  更新参数：θ←θ−η∇θLbatch\\theta\\leftarrow\\theta-\\eta\\nabla\_{\\theta}\\mathcal{L}\_{\\text{batch}}

9: end for

10: end for

11:— 推断阶段（蒙特卡洛丢弃） —

12: 新输入样本 x⁡\(t0\)x(t\_{0})

13: 初始化平均概率p ̄\\bar{p}为零向量

14: for m=1 to Mdo

15:  在推断时启用丢弃

16:  运行网络前向传播：y^m\\hat{y}\_{m}\\leftarrow f⁡(x(t0)m)f(x(t\_{0}))\_{m}

17:  应用softmax获取概率：pmp\_{m}\\leftarrow softmax( y^m\\hat{y}\_{m})

18:  获取平均概率：p ̄←p ̄+1Mpm\\bar{p}\\leftarrow\\bar{p}+\\frac{1}{M}p\_{m}

19: end for

20: 计算不确定性（熵）：H(p ̄)=−∑mp ̄klogp ̄kH(\\bar{p})=-\\sum\_{m}\\bar{p}\_{k}\\log\\bar{p}\_{k}

21: return y^,p ̄,H⁡(p ̄)\\hat{y},\\bar{p},H(\\bar{p})

**算法2** 训练基于分数的生成模型（SGM）以近似分离面
输入：训练数据D2=\{\(x\(t0\)j\)\}j=1N\\mathcal{D}\_{2}=\{(x(t\_{0})\_{j})\}\_{j=1}^{N}（来自动力系统的初始条件样本x⁡\(t0\)x(t\_{0})，具有相应的分布P⁡(D2)P(\\mathcal{D}\_{2})，其中D2\\mathcal{D}\_{2}通过选择分类器网络的蒙特卡洛丢弃中的熵阈值来选取）