Cluster-Weighted EDMD

# 聚类加权EDMD 来源：https://arxiv.org/html/2607.12243 Lorenzo Tomaz，Judd Rosenblatt，Flavio Kicis，Thomas B\. Jones，Diogo Schwerz de Lucena AE Studio \{lorenzo， judd， flavio\.kicis， thomas， diogo\}@ae\.studio *关键词*Koopman算子⋅\\cdot扩展动态模态分解⋅\\cdot聚类加权模型⋅\\cdot动力系统 扩展动态模态分解（EDMD）是Koopman算子的标准数据驱动近似方法（Williams等人，2015a (https://arxiv.org/html/2607.12243#bib.bib2)；Mezić，2005 (https://arxiv.org/html/2607.12243#bib.bib1)；Brunton等人，2022 (https://arxiv.org/html/2607.12243#bib.bib3)；Korda和Mezić，2018 (https://arxiv.org/html/2607.12243#bib.bib4)；Mauroy等人，2020 (https://arxiv.org/html/2607.12243#bib.bib12)）。先前的分区方法通过吸引域标签（Williams等人，2015a (https://arxiv.org/html/2607.12243#bib.bib2)）、相空间拼接（Nandanoori等人，2022 (https://arxiv.org/html/2607.12243#bib.bib10)）或运行状态指示器（Peitz和Klus，2019 (https://arxiv.org/html/2607.12243#bib.bib11)）来预定义分区。另一条互补的研究方向通过学习的字典（Li等人，2017 (https://arxiv.org/html/2607.12243#bib.bib6)）、深度自编码器（Lusch等人，2018 (https://arxiv.org/html/2607.12243#bib.bib5)）或核方法（Williams等人，2015b (https://arxiv.org/html/2607.12243#bib.bib9)）来丰富全局观测基，与本文所追求的分区方向正交。我们引入**聚类加权EDMD**（CW-EDMD），该方法通过期望最大化（EM）在聚类加权模型联合密度（Gershenfeld等人，1999 (https://arxiv.org/html/2607.12243#bib.bib13)；Ingrassia等人，2014 (https://arxiv.org/html/2607.12243#bib.bib14)；Punzo，2014 (https://arxiv.org/html/2607.12243#bib.bib15)）上联合学习分区和每个聚类的算子，责任度与几何接近度和每个聚类预测准确性的乘积成正比。在三个经典系统上（36种配置，10个随机种子），CW-EDMD在匹配的多项式提升阶数上优于EDMD，包括在EDMD本身达到饱和的情况下。 方法。CW-EDMD通过EM为每个聚类拟合一个单独的Koopman算子（完整推导见附录A），责任度结合了几何接近度和每个聚类预测残差。每个聚类都有一个中心、一个协方差矩阵和一个在阶数为q的重心多项式提升上拟合的Koopman矩阵。与标准高斯混合的关键区别在于残差感知：一个聚类对训练转换的责任度，既取决于当前状态与其中心的接近程度，也取决于其预测下一状态的准确性；因此分区跟踪的是每个算子预测良好的区域，而不是数据密集的区域。给定责任度后，每个Koopman矩阵通过责任加权最小二乘法以闭式更新，将标准EDMD解推广到每个聚类的场景。 实验设置。我们在三个经典系统上评估：Lorenz吸引子、阻尼摆（非多项式sin⁡θ\\sin\\thetaRHS）和双阱Duffing振荡器。每个系统遍历12种配置，变化采样分布、数据量、域、积分步长和拟合预算，每个配置使用10个固定随机种子（完整细节见附录B）。匹配阶数：CW-EDMD-\(q,G\)\(q,G\)与EDMD-qq在10个配对随机种子上对比；每个种子的指标是平均l2\\ell\_\{2\}测试误差（一步或5秒滚动，单独单元格）。一个单元格为*胜*（W），如果配对Wilcoxon检验给出p<0.05p<0.05且CW-EDMD的跨种子平均值更低；为*负*（L）如果更高；否则为*平*（T）。 表1：匹配阶数CW-EDMD与EDMD，配对Wilcoxon W/L/T和中位误差比（EDMD / CW-EDMD；比值\>1\>1有利于CW-EDMD），汇总所有CW-EDMD\(q,G\)\(q,G\)变体和每个系统的所有12种配置，在一步和5秒滚动下。 结果。CW-EDMD在所有三个系统上以匹配的多项式提升优于EDMD（表1 (https://arxiv.org/html/2607.12243#S0.T1)；准确率-参数权衡见图1 (https://arxiv.org/html/2607.12243#Sx4.F1)至3 (https://arxiv.org/html/2607.12243#Sx4.F3)）。在表1 (https://arxiv.org/html/2607.12243#S0.T1)的288288个配对测试中，CW-EDMD记录了258258次胜，44次负，2626次平；所有44次负均为最小NN的Lorenz配置（附录C）。在E步中禁用残差因子（附录D）会分割增益：残差感知性在摆系统以及Lorenz/Duffing的低qq时起主要作用；在EDMD饱和的qq处，仅几何分区就足够了。 ## 致谢 ## 参考文献 - S\. L\. Brunton， M\. Budišić， E\. Kaiser， and J\. N\. Kutz (2022)现代Koopman理论在动力系统中的应用。SIAM Review64(2)， pp\. 229–340。外部链接：Document (https://dx.doi.org/10.1137/21M1401243)引用者：每个聚类的Koopman算子。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px4.p1.18)，聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - N\. Gershenfeld， B\. Schoner， and E\. Metois (1999)时间序列分析的聚类加权建模。Nature397(6717)， pp\. 329–332。外部链接：Document (https://dx.doi.org/10.1038/16873)引用者：相关工作与定位。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px1.p1.1)，CWM框架和逼近器无关的每聚类拟合。(https://arxiv.org/html/2607.12243#Sx5.SS0.SSS0.Px1.p1.5)，聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - S\. Ingrassia， S\. C\. Minotti， and A\. Punzo (2014)基于模型的线性聚类加权模型聚类。Computational Statistics & Data Analysis71， pp\. 159–182。外部链接：Document (https://dx.doi.org/10.1016/j.csda.2013.02.012)引用者：相关工作与定位。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px1.p1.1)，CWM框架和逼近器无关的每聚类拟合。(https://arxiv.org/html/2607.12243#Sx5.SS0.SSS0.Px1.p1.5)，跨预测器确认：泰勒内消融。(https://arxiv.org/html/2607.12243#Sx5.SS0.SSS0.Px4.p1.1)，聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - M\. I\. Jordan and R\. A\. Jacobs (1994)专家的层次混合与EM算法。Neural Computation6(2)， pp\. 181–214。外部链接：Document (https://dx.doi.org/10.1162/neco.1994.6.2.181)引用者：相关工作与定位。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px1.p1.1)。 - M\. Korda and I\. Mezić (2018)非线性动力系统的线性预测器：Koopman算子遇上模型预测控制。Automatica93， pp\. 149–160。外部链接：Document (https://dx.doi.org/10.1016/j.automatica.2018.03.046)引用者：聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - Q\. Li， F\. Dietrich， E\. M\. Bollt， and I\. G\. Kevrekidis (2017)带有字典学习的扩展动态模态分解：Koopman算子的数据驱动自适应谱分解。Chaos27(10)， pp\. 103111。外部链接：Document (https://dx.doi.org/10.1063/1.4993854)引用者：Koopman近似的两个正交轴。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px2.p1.1)，聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - B\. Lusch， J\. N\. Kutz， and S\. L\. Brunton (2018)用于非线性动力学通用线性嵌入的深度学习。Nature Communications9， pp\. 4950。外部链接：Document (https://dx.doi.org/10.1038/s41467-018-07210-0)引用者：Koopman近似的两个正交轴。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px2.p1.1)，聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - A\. Mauroy， I\. Mezić， and Y\. Susuki (Eds.) (2020)系统和控制中的Koopman算子：概念、方法论和应用。Lecture Notes in Control and Information Sciences， Vol.484， Springer。外部链接：Document (https://dx.doi.org/10.1007/978-3-030-35713-9)引用者：聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - I\. Mezić (2005)动力系统的谱性质、模型降阶与分解。Nonlinear Dynamics41(1–3)， pp\. 309–325。外部链接：Document (https://dx.doi.org/10.1007/s11071-005-2824-x)引用者：聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - S\. P\. Nandanoori， S\. Sinha， and E\. Yeung (2022)用于相空间学习与分析的数据驱动算子理论方法。Journal of Nonlinear Science32(5)， pp\. 84。外部链接：Document (https://dx.doi.org/10.1007/s00332-022-09851-4)引用者：相关工作与定位。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px1.p1.1)，聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - S\. Peitz and S\. Klus (2019)基于Koopman算子的PDE切换系统控制模型降阶。Automatica106， pp\. 184–191。外部链接：Document (https://dx.doi.org/10.1016/j.automatica.2019.05.016)引用者：相关工作与定位。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px1.p1.1)，聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - A\. Punzo (2014)基于多项式高斯聚类加权模型的灵活混合建模。Statistical Modelling14(3)， pp\. 257–291。外部链接：Document (https://dx.doi.org/10.1177/1471082X13503455)引用者：相关工作与定位。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px1.p1.1)，CWM框架和逼近器无关的每聚类拟合。(https://arxiv.org/html/2607.12243#Sx5.SS0.SSS0.Px1.p1.5)，聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - N\. Takeishi， Y\. Kawahara， and T\. Yairi (2017)学习Koopman不变子空间用于动态模态分解。InAdvances in Neural Information Processing Systems， Vol.30， pp\. 1130–1140。引用者：Koopman近似的两个正交轴。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px2.p1.1)。 - M\. O\. Williams， I\. G\. Kevrekidis， and C\. W\. Rowley (2015a)Koopman算子的数据驱动近似：扩展动态模态分解。Journal of Nonlinear Science25(6)， pp\. 1307–1346。外部链接：Document (https://dx.doi.org/10.1007/s00332-015-9258-5)引用者：相关工作与定位。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px1.p1.1)，每个聚类的Koopman算子。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px4.p1.18)，聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - M\. O\. Williams， C\. W\. Rowley， and I\. G\. Kevrekidis (2015b)基于核的数据驱动Koopman谱分析方法。Journal of Computational Dynamics2(2)， pp\. 247–265。外部链接：Document (https://dx.doi.org/10.3934/jcd.2015005)引用者：Koopman近似的两个正交轴。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px2.p1.1)，聚类加权EDMD (https://arxiv.org/html/2607.12243#p2.1)。 - E\. Yeung， S\. Kundu， and N\. Hodas (2019)学习用于非线性动力系统Koopman算子的深度神经网络表示。In2019 American Control Conference (ACC)， pp\. 4832–4839。外部链接：Document (https://dx.doi.org/10.23919/ACC.2019.8815339)引用者：Koopman近似的两个正交轴。(https://arxiv.org/html/2607.12243#Sx2.SS0.SSS0.Px2.p1.1)。 ## 附录A：完整方法推导 ### 相关工作与定位。 划分相空间并为每个区域拟合一个单独的Koopman算子的想法并不新鲜。最初的EDMD论文（Williams等人，2015a (https://arxiv.org/html/2607.12243#bib.bib2)）通过在Duffing振荡器上演示分区EDMD，从主导Koopman特征函数识别吸引域，并为每个吸引域拟合单独的算子，这是一项早期观察，即在动态有意义的划分上使用每个区域算子可以优于全局相空间上的单个Koopman算子。Nandanoori、Sinha和Yeung（Nandanoori等人，2022 (https://arxiv.org/html/2607.12243#bib.bib10)）形式化了针对大规模动力系统的区域特定Koopman算子的相空间拼接。Peitz和Klus（Peitz和Klus，2019 (https://arxiv.org/html/2607.12243#bib.bib11)）开发了一种切换/多模型Koopman公式，其中不同的运行状态被分配了不同的线性Koopman模型，状态指示器驱动切换。统计学文献中早期的工作（Jordan和Jacobs，1994 (https://arxiv.org/html/2607.12243#bib.bib16)；Gershenfeld等人，1999 (https://arxiv.org/html/2607.12243#bib.bib13)；Ingrassia等人，2014 (https://arxiv.org/html/2607.12243#bib.bib14)；Punzo，2014 (https://arxiv.org/html/2607.12243#bib.bib15)）提供了CW-EDMD所复用的联合密度EM机制。CW-EDMD相对于这些工作的贡献在于三个要素的结合：(i) 分区是通过EM与每个聚类算子**联合学习**的，而不是由吸引域标签、几何或运行状态指示器预定义的；(ii) 期望步骤中使用的责任度结合了几何接近度和每个聚类预测残差，使得分区跟踪的是每个算子预测良好的区域，而不是数据几何密集的区域；(iii) 每个聚类预测器是重心的多项式提升上的离散EDMD算子，为CW-EDMD与EDMD在匹配的提升阶数上提供了一个干净的苹果对苹果基线。附录D中的仅几何消融实验表明，在Duffing系统上，正是要素(ii)推动了匹配阶数下的优势。 ### Koopman近似的两个正交轴。 除了上述调查的分区文献外，另一条平行的工作线通过丰富全局观测基来改进Koopman近似：字典学习（Li等人，2017 (https://arxiv.org/html/2607.12243#bib.bib6)）、深度Koopman自编码器（Lusch等人，2018 (https://arxiv.org/html/2607.12243#bib.bib5)；Takeishi等人，2017 (https://arxiv.org/html/2607.12243#bib.bib7)；Yeung等人，2019 (https://arxiv.org/html/2607.12243#bib.bib8)）和核EDMD（Williams等人，2015b (https://arxiv.org/html/2607.12243#bib.bib9)）。这些方法在更丰富的学习或核基上保留一个全局算子。CW-EDMD做出了正交的选择：一个分区的状态空间，其中每个区域只需一个简单的局部基（重心单项式）就足够了。这两个方向解决了不同的归纳失败模式——基不足（例如，sin⁡θ\\sin\\theta在任何有限阶数下都没有精确的多项式展开）与算子不足（例如，多吸引子动力学，没有单个线性映射可以表示）——并且自然可以组合：学习每个聚类基是明显的下一步。对于这里报告的匹配阶数比较，我们的基线因此是相同单项式提升下的原始EDMD，这隔离了分区的贡献；与学习基方法的正面比较留待未来工作，其中每个聚类学习基是自然的目标。 ### CWM联合密度。 我们现在正式定义模型。给定NN个配对训练转换\{\(xt\(i\),xt\+1\(i\)\)\}i=1N\\\{\(x\_\{t\}^\{\(i\)\},x\_\{t\+1\}^\{\(i\)\)\}\)\\\}\_\{i=1\}^\{N\}在Rd\\mathbb\{R\}^\{d\}中，我们将连续状态上的联合密度建模为GG个分量的混合： p\(xt,xt\+1\)=∑g=1GπgpX\(xt∣g\)pY∣X\(xt\+1∣xt,g\)，p\(x\_\{t\},x\_\{t\+1\}\)=\\sum\_\{g=1\}^\{G\}\\pi\_\{g\}\\,p\_\{X\}\(x\_\{t\}\\mid g\)\\,p\_\{Y\\mid X\}\(x\_\{t\+1\}\\mid x\_\{t\},g\)，其中πg≥0\\pi\_\{g\}\\geq 0是混合权重，总和为1。每个分量中的两个因子扮演不同角色。第一个因子 pX\(xt∣g\)=N\(xt;cg,Σg\)p\_\{X\}\(x\_\{t\}\\mid g\)=\\mathcal\{N\}\(x\_\{t\};\\,c\_\{g\},\\Sigma\_\{g\}\) 是以cgc\_\{g\}为中心、协方差为Σg\\Sigma\_\{g\}的高斯分布；它测量了当前状态到聚类gg的几何接近度。第二个因子 pY∣X\(xt\+1∣xt,g\)=N\(Δxg;0,σg2I\)p\_\{Y\\mid X\}\(x\_\{t\+1\}\\mid x