MetaKoopman: 分布漂移下结构化动力学的Koopman算子贝叶斯元学习建模

# MetaKoopman：贝叶斯元学习柯普曼算子以建模分布漂移下的结构化动力学  
来源：https://arxiv.org/html/2607.26345  
Mahmoud Selim¹,²，Sriharsha Bhat²，Karl H. Johansson²  
¹TRATON，[email protected]  
²KTH Royal Institute of Technology，{mase2, svbhat, kallej}@kth.se  

###### 摘要  
在分布漂移下对非线性动力学进行建模与预测，对于现实世界系统中稳健的决策制定至关重要。本文提出MetaKoopman，一个贝叶斯元学习框架，通过线性潜在表征来建模非线性动力学。MetaKoopman在柯普曼算子上学习一个矩阵正态-逆威沙特（MNIW）先验，从而能够基于最近轨迹段进行闭式贝叶斯更新。此外，它提供关于未来状态轨迹的闭式后验预测分布，捕捉学习动力学中的认知不确定性和偶然不确定性。我们在全尺寸自主卡车-拖车系统上评估MetaKoopman，涵盖各种恶劣冬季场景——包括雪地、冰面和混合摩擦条件——以及在具有多种分布漂移的模拟控制任务中。MetaKoopman在多步预测精度、不确定性校准和分布漂移鲁棒性方面持续优于先前方法。现场实验进一步证明了其在动态可行运动规划中的有效性，特别是在规避机动和牵引极限操作期间。  
项目网站：https://mahmoud-selim.github.io/MetaKoopman/  

## 1 引言  
现代自主系统必须在复杂、非平稳的环境中运行，其中底层系统动力学既非固定也非完全已知。地形特性可能从沥青变为冰面；载荷分布可能随每次任务而变化；机械退化或执行器延迟可能随时间累积。学习一个能够解释所有此类变化的单一预测模型是困难的——甚至不可行。这些变化来源引发了所谓的分布漂移：模型学习时的训练条件与其部署时的测试条件之间的不匹配。在安全关键型应用（如自动驾驶或机器人控制）中，即使是小的预测误差也可能累积，导致不稳定或不安全的行为。当模型无法评估或传达其预测中的不确定性时，这些风险会进一步放大。这引出了一个基本问题：我们如何设计基于学习的系统，使其在动力学本身演化时仍能保持准确和可靠？  
从建模角度看，这一挑战暴露了标准方法的一个核心局限：假设存在一个全局有效的动力学模型，能在不同环境和潜在条件下保持准确。在实践中，这样的模型异常难以——甚至不可能——获得。由于硬件磨损、可变载荷以及至少部分可观测的环境因素，现实世界的动力学本质上是时变的。元学习（Braun等人，2010 (https://arxiv.org/html/2607.26345#bib.bib62)）提供了一条前进路径，通过训练模型使用有限数据快速适应新条件。然而，许多元学习框架依赖于基于梯度的内循环或迭代优化过程（Finn等人，2017 (https://arxiv.org/html/2607.26345#bib.bib58)，2018 (https://arxiv.org/html/2607.26345#bib.bib64)；Yoon等人，2018 (https://arxiv.org/html/2607.26345#bib.bib63)），这可能会引入延迟和计算开销，使其不适合实时部署。相比之下，柯普曼算子理论（Koopman，1931 (https://arxiv.org/html/2607.26345#bib.bib2)）通过线性潜在空间算子表示非线性动力学，从而能够高效地进行多步预测，并与经典控制和规划方法无缝集成。然而，基于柯普曼的模型通常离线训练，并在测试时保持静态（Yeung等人，2019 (https://arxiv.org/html/2607.26345#bib.bib11)；Shi和Meng，2022 (https://arxiv.org/html/2607.26345#bib.bib17)；Bruder等人，2020 (https://arxiv.org/html/2607.26345#bib.bib16)；Abraham等人，2017 (https://arxiv.org/html/2607.26345#bib.bib15)；Korda和Mezić，2018 (https://arxiv.org/html/2607.26345#bib.bib14)），限制了其响应变化动力学的能力。这激发了我们的方法：一个融合了柯普曼算子的结构化效率与元学习的适应性和数据效率的模型，同时支持在线更新和原则性的不确定性量化。  
在本文中，我们介绍MetaKoopman，一个贝叶斯元学习框架，用于在分布漂移下建模动力学。其核心是，MetaKoopman在柯普曼算子上放置一个矩阵正态-逆威沙特（MNIW）先验，该先验在多种环境中进行元学习。通过这样做，MetaKoopman学习了底层动力学上的一个分布，捕捉系统演化中的不确定性。在部署期间，该先验通过闭式贝叶斯更新，使用最近的轨迹数据进行在线自适应，以获得关于动力学的更新信念（后验）。然后，这个后验用于生成未来状态的概率预测（后验预测分布），使模型能够对其预测中的认知不确定性和偶然不确定性进行量化。由此产生的不确定性感知模型，通过变分动作编码器集成到基于采样的运动规划器中，从而高效生成动态可行的轨迹。  
MetaKoopman在一系列模拟基准测试中进行了评估，这些基准测试将模型暴露于不同的地形坡度、摩擦条件和载荷动力学下。在所有情况下，它都实现了卓越的多步预测精度、校准的不确定性和对分布漂移的鲁棒性。除了模拟，我们还将MetaKoopman部署在一个37.5吨的自主卡车-拖车系统上，该系统在恶劣的冬季条件下运行，包括雪地、冰面和混合摩擦路面。在一次安全关键测试中，当虚拟障碍物出现在冰面上时，非自适应模型错误预测了制动可行性，未能安全反应。相比之下，MetaKoopman快速推断出变化的表面动力学并启动车道变更，展示了结构化贝叶斯自适应如何在现实世界自主系统中实现更安全、更可靠的控制。  
我们的贡献总结如下：  
1. **柯普曼算子的贝叶斯元学习** – 首次将柯普曼结构与贝叶斯元学习相结合，在测试时提供柯普曼算子的解析后验。此外，我们推导出闭式后验预测分布，为预测提供了原则性的不确定性量化。  
2. **元学习退火用于自适应** – 一个标量β，在元训练期间元学习，在测试时重新缩放MNIW先验精度。这种简单而有效的机制增加了对在线自适应的响应性，同时保持校准的不确定性。  
3. **变分动作编码器** – 潜在动作采样将轨迹推演速度提高一个数量级，消除了基于模型的规划的主要瓶颈。  
4. **全面评估** – 我们收集了恶劣天气（雪、冰和混合摩擦）下的卡车动力学数据集，并将其与五个表现出分布漂移的模拟环境一起使用，以展示最先进的精度、校准的不确定性和鲁棒性。  
5. **现实世界部署** – 实时的37.5吨卡车试验显示了冰面上的自适应制动和安全的规避雪地机动，而静态模型在此情况下失败。  

## 2 相关工作  
柯普曼算子理论（Koopman，1931 (https://arxiv.org/html/2607.26345#bib.bib2)）提供了一个线性（尽管是无限维）的框架，用于分析非线性动力系统，通过将它们提升到可观测量函数空间，在此空间中其演化可以线性描述。早期方法如动态模态分解（DMD）（Schmid，2010 (https://arxiv.org/html/2607.26345#bib.bib5)；Schmid等人，2011 (https://arxiv.org/html/2607.26345#bib.bib4)）和扩展动态模态分解（EDMD）（Williams等人，2015 (https://arxiv.org/html/2607.26345#bib.bib6)；Li等人，2017 (https://arxiv.org/html/2607.26345#bib.bib7)）使用手动选择的可观测量来近似算子，这一过程通常脆弱且任务特定。为了解决此问题，最近的进展利用深度学习自动学习表达能力强的嵌入（Lusch等人，2018 (https://arxiv.org/html/2607.26345#bib.bib9)；Otto和Rowley，2019 (https://arxiv.org/html/2607.26345#bib.bib10)；Yeung等人，2019 (https://arxiv.org/html/2607.26345#bib.bib11)；Takeishi等人，2017 (https://arxiv.org/html/2607.26345#bib.bib12)），产生了如deep-DMD和deep-Koopman等神经扩展，显著增强了基于柯普曼方法的建模能力和可扩展性。这些发展使得在多个领域实现了精确预测和控制，特别是在线性性允许使用经典控制器（如LQR和MPC）的情况下（Proctor等人，2016 (https://arxiv.org/html/2607.26345#bib.bib8)；Mamakoukas等人，2021 (https://arxiv.org/html/2607.26345#bib.bib13)；Korda和Mezić，2018 (https://arxiv.org/html/2607.26345#bib.bib14)；Abraham等人，2017 (https://arxiv.org/html/2607.26345#bib.bib15)）。应用范围包括软体机器人（Bruder等人，2020 (https://arxiv.org/html/2607.26345#bib.bib16)；Shi和Meng，2022 (https://arxiv.org/html/2607.26345#bib.bib17)）、空中机器人（Shi等人，2024 (https://arxiv.org/html/2607.26345#bib.bib76)；Manaa等人，2024 (https://arxiv.org/html/2607.26345#bib.bib77)）、机器人操作（Chen等人，2024 (https://arxiv.org/html/2607.26345#bib.bib75)）和车辆动力学（Cibulka等人，2020 (https://arxiv.org/html/2607.26345#bib.bib18)；Wang等人，2021 (https://arxiv.org/html/2607.26345#bib.bib19)），展示了基于柯普曼的建模与控制在不同非线性系统中的多功能性。  
最近的研究进一步探讨了自适应和时变柯普曼算子，用于建模具有演化动力学的系统。例如，引入了一种自适应柯普曼嵌入，通过在线神经模块增强名义柯普曼模型，实时更新算子矩阵，提高对控制任务中参数变化和外部扰动的鲁棒性（Singh等人，2024 (https://arxiv.org/html/2607.26345#bib.bib78)）。类似地，柯普曼神经预测器（KNF）（Wang等人，2022 (https://arxiv.org/html/2607.26345#bib.bib30)）采用全局和局部算子来捕捉非平稳系统中的稳定和演化动力学。然而，他们的方法仅限于时间序列预测，不考虑控制输入。其他方法探索显式时变柯普曼算子来建模变化系统（Zhang等人，2019 (https://arxiv.org/html/2607.26345#bib.bib68)；Hao等人，2022 (https://arxiv.org/html/2607.26345#bib.bib69)），但这些通常需要在线优化，缺乏原则性的不确定性估计。相比之下，我们的方法使用元学习先验实现闭式贝叶斯自适应，既提供了计算效率，又提供了原则性的不确定性量化。  
元学习提供了一个框架，用于训练能够利用跨相关任务的经验快速适应新任务的模型（Finn等人，2017 (https://arxiv.org/html/2607.26345#bib.bib58)；Duan等人，2016 (https://arxiv.org/html/2607.26345#bib.bib60)；Nichol和Schulman，2018 (https://arxiv.org/html/2607.26345#bib.bib65)；Rusu等人，2018 (https://arxiv.org/html/2607.26345#bib.bib67)）。在动力系统中，元学习已被应用于学习能够在线适应动力学或环境变化的模型（Nagabandi等人，2018 (https://arxiv.org/html/2607.26345#bib.bib57)；Sæmundsson等人，2018 (https://arxiv.org/html/2607.26345#bib.bib59)；Clavera等人，2018 (https://arxiv.org/html/2607.26345#bib.bib61)；Dorfman等人，2021 (https://arxiv.org/html/2607.26345#bib.bib73)）。像Bayesian MAML（Yoon等人，2018 (https://arxiv.org/html/2607.26345#bib.bib63)）、PLATIPUS（Finn等人，2018 (https://arxiv.org/html/2607.26345#bib.bib64)）和PEARL（Rakelly等人，2019 (https://arxiv.org/html/2607.26345#bib.bib66)）等方法表明，学习模型参数上的先验能够从有限的近期经验中实现快速自适应，解决了现实世界领域中分布漂移的挑战。关键的是，这些方法通过专注于快速、局部的自适应，避免了对全局精确动力学模型的需求——从而实现了对硬件故障、地形变化或传感器噪声等扰动的鲁棒性。然而，许多方法要么依赖于基于优化的自适应（在测试时计算成本高），要么缺乏原则性的不确定性量化。相比之下，我们的方法通过短轨迹段执行闭式贝叶斯自适应，将计算效率与可处理的不确定性估计相结合。  

## 3 预备知识  

### 3.1 使用柯普曼算子建模非线性动力系统  
考虑一个离散时间非线性动力系统，由状态演化方程控制：  
xt+1 = f(xt, ut),  (1)  
其中xt ∈ ℝⁿ 表示系统状态，ut ∈ ℝᵐ 表示控制输入，f是一个未知的非线性函数。目标是给定当前状态和当前及未来控制输入，预测未来状态 xt+1, xt+2, ..., xt+h 超过一个视野 h。  
柯普曼算子，记作 K̄ : F̄ → F̄，是一个无限维线性算子，描述了非线性动力系统的演化。这里，F̄ 指所有测量函数或观测量的集合，它们构成一个无限维希尔伯特空间。更具体地说，给定一个观测量函数 ψ，系统使用柯普曼算子的演化可以表示为：  
K̄ψ(xt, ut) = ψ(f(xt, ut), ut+1) = ψ(xt+1, ut+1)  (2)  
原则上，柯普曼算子在提升空间中提供了系统动力学的完整线性描述。然而，直接在无限维希尔伯特空间 F̄ 中操作在计算上是不易处理的。在下一节，我们介绍一个可以从数据中学习的柯普曼算子的有限维近似。  

### 3.2 用于跨轨迹快速自适应的元学习  
元学习提供了一个框架，用于训练能够使用有限数据快速适应新任务的模型。在我们的设置中，一个任务 T 对应于从特定操作条件（例如特定的路面、坡度或质量分布）收集的短轨迹片段，其目标是基于最近的状态-动作历史预测未来状态。令 ρ(T) 表示此类任务上的分布，每个任务由从不同环境中采样的轨迹数据集 D_T = {(xt, ut)} 定义。元学习的目标是找到共享的模型参数 θ 和一个自适应过程 A，在自适应数据集 D_T^tr 上，使得适应后的参数 θ′ = A(D_T^tr, θ) 能够在新任务上表现良好，而无需从头开始重新训练。