跨度内学习：利用自身预测自适应降阶模型

# 1 引言 来源：https://arxiv.org/html/2607.02937 跨度内学习：利用降阶模型自身预测进行自适应 Amirpasha Hedayat1,3,\*\*\*通讯作者：[email protected] (https://arxiv.org/html/2607.02937v1/mailto:[email protected]) Laura Balzano2,3 Karthik Duraisamy1,3 1 航空航天工程系 2 电气工程与计算机科学系 3 密歇根计算发现与工程研究所，密歇根大学安娜堡分校，美国 摘要 降阶模型将高维动力学压缩为可快速评估的低维表示，但当在线动力学偏离训练数据时，其精度会下降。自适应方法通过在线更新子空间并引入外部*跨度外*信息（如全阶校正或传感器快照）来解决这一问题。我们发现，在当前降阶子空间内部存在一个互补且此前未被利用的*跨度内*自适应通道。通过将模型自身的预测流经带有遗忘因子的增量奇异值分解，我们获得了一个*轨迹感知的谱预处理器*，其中子空间保持不变，但基向量被重新加权并重新对齐到动力学所访问的模态。这使得模型能更有效地吸收未来的跨度外校正。我们在三维螺旋上揭示了该机制的若干方面，并在粘性Burgers和Fisher–KPP动力学上进行了验证。我们还讨论了如何将跨度内学习视为动力系统中的上下文学习类似物。更广泛地，跨度内学习为计算科学提出了一条新原则，表明模型生成的轨迹包含比以往认识到的更多可用信息。 关键词：跨度内学习，谱预处理，求解器加速，自适应模型降阶，增量SVD，子空间跟踪。 本文是提交给《*自然·计算科学*》的预印本。提交版本的补充信息包含在附录A (https://arxiv.org/html/2607.02937#A1) 至E (https://arxiv.org/html/2607.02937#A5)中。 在整个科学与工程领域，诸如飞机设计[1 (https://arxiv.org/html/2607.02937#bib.bib1)]、天气预报[2 (https://arxiv.org/html/2607.02937#bib.bib2),3 (https://arxiv.org/html/2607.02937#bib.bib3),4 (https://arxiv.org/html/2607.02937#bib.bib4)]、燃烧预测[5 (https://arxiv.org/html/2607.02937#bib.bib5)]、电网控制[6 (https://arxiv.org/html/2607.02937#bib.bib6)]、不确定性量化[7 (https://arxiv.org/html/2607.02937#bib.bib7),8 (https://arxiv.org/html/2607.02937#bib.bib8)]以及数字孪生[9 (https://arxiv.org/html/2607.02937#bib.bib9),10 (https://arxiv.org/html/2607.02937#bib.bib10)]等应用都依赖于需要昂贵计算的数值模型。同时，还需要在参数、控制、不确定输入或实时决策中反复运行这些计算。这种场景要求模拟器既要足够精确以值得信赖，又要足够廉价以自由使用。降阶模型通过将高维模拟压缩为低维表示来满足这一需求[11 (https://arxiv.org/html/2607.02937#bib.bib11),12 (https://arxiv.org/html/2607.02937#bib.bib12),13 (https://arxiv.org/html/2607.02937#bib.bib13),14 (https://arxiv.org/html/2607.02937#bib.bib14)]。尽管离散化的物理模型可能包含数百万个自由度，但其相关轨迹通常只占据状态空间中一个更小的区域。基于投影的降阶模型通过构造一个低维子空间（通常来自全阶快照的本征正交分解[15 (https://arxiv.org/html/2607.02937#bib.bib15),16 (https://arxiv.org/html/2607.02937#bib.bib16),17 (https://arxiv.org/html/2607.02937#bib.bib17)]）并仅在该子空间中演化解的坐标来利用这一结构[18 (https://arxiv.org/html/2607.02937#bib.bib18)]。当在线动力学保持接近训练数据时，这种压缩可以带来数量级的加速[21 (https://arxiv.org/html/2607.02937#bib.bib21)]。 然而，这种压缩也造成了降阶模型的核心失效模式。静态降阶模型在离线环境下训练并以固定基部署。它能够在其快照所代表的范围内进行准确插值，但当在线轨迹偏离该范围时，其预测能力就会丧失。这是一种分布偏移形式，无论降阶表示是线性子空间、非线性流形[23 (https://arxiv.org/html/2607.02937#bib.bib23)]还是学习得到的代理模型[22 (https://arxiv.org/html/2607.02937#bib.bib22)]，都存在这一问题。对于本文考虑的基于投影的降阶模型，这种限制在具有缓慢衰减Kolmogorov N-宽度的系统中尤为严重，因为此类系统不存在能够长时间均匀表示演化解的固定低维线性子空间[24 (https://arxiv.org/html/2607.02937#bib.bib24),25 (https://arxiv.org/html/2607.02937#bib.bib25)]。输运主导流、激波、运动界面、燃烧和爆轰动力学是典型的例子[26 (https://arxiv.org/html/2607.02937#bib.bib26),27 (https://arxiv.org/html/2607.02937#bib.bib27),28 (https://arxiv.org/html/2607.02937#bib.bib28),29 (https://arxiv.org/html/2607.02937#bib.bib29),30 (https://arxiv.org/html/2607.02937#bib.bib30)]。它们也恰恰是快速预测模拟最具价值的场景。 自适应降阶模型试图通过允许降阶表示在在线模拟过程中演化来克服这种刚性。早期的工作包括在局部训练基之间进行插值[31 (https://arxiv.org/html/2607.02937#bib.bib31),32 (https://arxiv.org/html/2607.02937#bib.bib32),33 (https://arxiv.org/html/2607.02937#bib.bib33),34 (https://arxiv.org/html/2607.02937#bib.bib34)]。最近，增量基方法获得了更多关注，即用新获取的信息在线更新基[35 (https://arxiv.org/html/2607.02937#bib.bib35),36 (https://arxiv.org/html/2607.02937#bib.bib36),37 (https://arxiv.org/html/2607.02937#bib.bib37),38 (https://arxiv.org/html/2607.02937#bib.bib38),39 (https://arxiv.org/html/2607.02937#bib.bib39),40 (https://arxiv.org/html/2607.02937#bib.bib40),41 (https://arxiv.org/html/2607.02937#bib.bib41)]。一系列相关工作借鉴了子空间跟踪思想[42 (https://arxiv.org/html/2607.02937#bib.bib42),43 (https://arxiv.org/html/2607.02937#bib.bib43),44 (https://arxiv.org/html/2607.02937#bib.bib44),45 (https://arxiv.org/html/2607.02937#bib.bib45),46 (https://arxiv.org/html/2607.02937#bib.bib46),47 (https://arxiv.org/html/2607.02937#bib.bib47),48 (https://arxiv.org/html/2607.02937#bib.bib48),49 (https://arxiv.org/html/2607.02937#bib.bib49)]，这些思想激发了几何基更新[50 (https://arxiv.org/html/2607.02937#bib.bib50)]和感知历史的自适应[51 (https://arxiv.org/html/2607.02937#bib.bib51)]。这些增量基更新方法在如何获取新信息以及如何更新基方面有所不同，但它们共享一个共同前提。基的更新使用的是在当前降阶子空间之外具有非零分量的信息。这个外部信息可能来自全阶状态、传感器快照或其他校正源。我们称此类数据为*跨度外*数据。这个前提很自然，因为只有跨度外信息才能移动子空间。一个恰好位于当前子空间内部的快照的残差为零，因此从通常的子空间更新视角来看，它似乎没有增加任何价值。 在本文中，我们表明这种推理忽略了一个互补的自适应通道。在外部校正之间，降阶模型持续产生其自身状态的预测。根据构造，这些预测位于当前降阶子空间内部，因此我们称它们为*跨度内*的。它们无法扩展子空间，但仍然可以重新组织子空间内部的表示。我们证明，当降阶模型自身的预测流经带有遗忘因子的增量奇异值分解[43 (https://arxiv.org/html/2607.02937#bib.bib43),44 (https://arxiv.org/html/2607.02937#bib.bib44),45 (https://arxiv.org/html/2607.02937#bib.bib45)]时，它们在同一个子空间内旋转标准正交基，并重新加权其奇异谱。结果得到一个*轨迹感知的谱预处理器*。它不会改变降阶模型在当前时刻能够表示的内容，但会改变基准备吸收下一个外部校正的方式。我们将得到的自适应降阶模型称为*SPIN*，代表“通过跨度内学习进行谱预处理”（图1 (https://arxiv.org/html/2607.02937#S1.F1)）。在整篇论文中，我们使用*基线自适应降阶模型*指代基于iSVD的自适应模型，该模型仅使用外部跨度外校正，在校正事件之间不执行跨度内更新。值得注意的是，基线自适应降阶模型本身代表了当前的最新水平[51 (https://arxiv.org/html/2607.02937#bib.bib51)]。

请参阅图注
图1：跨度内学习从降阶模型自身的预测中进行自适应。
三种降阶建模策略通过其离线/在线时间线以及降阶表示的相应演化来展示。
(a) 精确全阶模型轨迹、静态降阶模型、基线自适应降阶模型和SPIN降阶模型的三维螺旋预测对比。
(b) 静态降阶模型在离线训练后在线部署，无任何自适应。其降阶轨迹保持被限制在原始静态子空间内，当动力学离开训练范围时可能会失去对全阶轨迹的跟踪。
(c) 基线自适应降阶模型在在线阶段查询外部跨度外信息，例如校正快照q_corr，并用其将子空间移向全阶动力学。
(d) 所提出的SPIN降阶模型使用相同的外部校正事件，但也流式传输其自身的中间预测作为跨度内信息。这些跨度内更新本身不会移动子空间，但它们在下一次校正到来之前重新加权并重新定向基，从而为降阶表示更有效地吸收跨度外信息做好准备。

我们首先在更新机制层面发展跨度内学习，然后通过一个闭式螺旋例子，最后通过非线性PDE（其中相同的机制改进了长时间跨度的预测）来展示。在这些例子中，得出了相同的结论。降阶模型不仅可以从其跨度之外的新数据中学习，还可以从它们已经在跨度内产生的轨迹中学习。

## 2 结果

### 2.1 当前子空间内部的一个隐藏自适应通道

我们首先简要概述跨度内学习机制，展示模型自身的预测如何有助于其自适应。论文中使用的符号总结在附录A (https://arxiv.org/html/2607.02937#A1)中。考虑一个具有标准正交基Φ ∈ R^(N×r)和奇异值（收集在Σ := diag(σ₁, ..., σ_r)中）的降阶模型。在任何时间步，降阶模型预测的形式为q_ROM := Φa，其中a ∈ R^r是降阶坐标向量。该预测完全位于当前降阶子空间中，因此iSVD更新看到零正交残差，无法添加新方向。跨度内学习的要点在于，这个零残差快照仍然可以改变基的状态。

令C := Σ²表示当前以降阶坐标表示的协方差。使用遗忘因子γ_in ∈ (0,1]，跨度内iSVD更新简化为这个降阶协方差矩阵的秩一更新：
C⁺ = γ_in² C + a aᵀ。 (1)

对角化这个更新后的小型r×r矩阵C⁺ = UΛUᵀ，通过Λ给出新的平方奇异值，并通过一个正交旋转U ∈ R^(r×r)在同一子空间内旋转基。等价地：
Σ⁺ = Λ^(1/2), Φ⁺ = ΦU, span(Φ⁺) = span(Φ)。 (2)

因此，跨度内更新保留了决定降阶模型能够表示什么状态的几何对象，但改变了决定模态权重的谱对象。正式的iSVD更新、方程(1)的推导以及方程(2)的证明见第4.4和4.5节。

方程(1)为该机制提供了一个简单的解释。向量a记录了降阶模型轨迹正在使用当前基的哪些方向。该更新以γ_in²折减先前的谱状态，并添加来自当前降阶模型预测的秩一贡献a aᵀ。一个在近期轨迹中强烈表示的方向可以被强化，而接收到太少轨迹能量的方向则会衰减。结果是轨迹相关的，并由遗忘因子控制，遗忘因子设定了跨度内学习的记忆视野。当γ_in接近1时，降阶模型累积许多近期预测，并围绕持续动力学重组基。当γ_in较小时，它强调最近的轨迹，并能够迅速抑制不活跃的方向。强化-抑制阈值在第4.5节中推导。

这个跨度内更新很重要，因为本文研究的自适应降阶模型在固定秩下运行。当下一个外部校正到来时，新的跨度外信息必须与现有基合并，然后截断回秩r。该截断的结果不仅取决于传入的校正，还取决于接收它的基的谱状态和方向。因此，跨度内学习充当了下一个跨度外更新的轨迹感知谱预处理器。该机制不使用额外的全阶信息。在外部校正之间，降阶模型已经产生了用于跨内更新的状态。唯一额外的操作是在降阶空间中进行一个小型SVD，随后旋转并重新加权现有基，以及在需要时刷新超降阶模型中依赖于基的量。其成本和实现细节在第4.9和4.7节中描述。

### 2.2 一个揭示关键机制的玩具示例

为了在一个简单场景中说明跨度内学习，我们从一个三维螺旋开始，其全阶动力学精确已知为q(t) := [cos t sin t αt]ᵀ，其中α = 0.4。该轨迹求解了R³中的一个仿射线性系统，我们使用其精确离散流进行推进。完整设置见第4.1节。初始降阶模型特意设置为最小化。我们仅从两个全阶快照q¹和q²形成秩为2的POD基Φ₀，并将精确离散动力学投影到所得平面S₀ := span(Φ₀) = span(q¹, q²)上。