LFNO：通过瞬态-稳态分解连接拉普拉斯与傅里叶

# LFNO：通过瞬态-稳态分解连接拉普拉斯与傅里叶

###### 摘要

我们提出拉普拉斯-傅里叶神经算子 \(LFNO\)，一个统一框架，通过整合拉普拉斯和傅里叶神经算子的频域优势，对瞬态和稳态下的动力系统进行建模。LFNO 采用双分支架构，将系统动力学显式分解为瞬态和稳态分量。我们在九个基准上评估 LFNO，包括三个 ODE 系统（杜芬振子、洛伦兹系统、单摆）和六个 PDE 系统（欧拉-伯努利梁、热传导、反应扩散、布鲁塞尔振子、伯格斯方程、纳维-斯托克斯方程）。在瞬态动力学占主导的 ODE 系统上，LFNO 显著优于现有算子；在 PDE 基准上，LFNO 持续超越 LNO，且性能与 FNO 相当。此外，LFNO 通过其分量分解提供了更好的稳定性和物理可解释性。这些结果表明，LFNO 为跨多时间尺度学习复杂动力系统提供了一种鲁棒且统一的方法。

机器学习，ICML

## 1 引言

近年来，机器学习的进步已成为求解微分方程的强大范式，应用于流体动力学 (Lomax et al., 2001 (https://arxiv.org/html/2606.07601#bib.bib21); Brunton et al., 2016 (https://arxiv.org/html/2606.07601#bib.bib22); Ling et al., 2016 (https://arxiv.org/html/2606.07601#bib.bib23); Tartakovsky et al., 2020 (https://arxiv.org/html/2606.07601#bib.bib24); Ranade et al., 2021 (https://arxiv.org/html/2606.07601#bib.bib25))、电磁学 (Xiong et al., 2019 (https://arxiv.org/html/2606.07601#bib.bib26); Baldan et al., 2021 (https://arxiv.org/html/2606.07601#bib.bib27); Zhang et al., 2021 (https://arxiv.org/html/2606.07601#bib.bib28)) 和量子力学 (Brockherde et al., 2017 (https://arxiv.org/html/2606.07601#bib.bib29); Weinan and Yu, 2018 (https://arxiv.org/html/2606.07601#bib.bib30); Hermann et al., 2020 (https://arxiv.org/html/2606.07601#bib.bib31)) 等多个领域。然而，这些方法中许多仍难以高效处理具有多样边界条件或高维动力学的问题。

神经算子框架被提出用以克服这些障碍，通过直接学习输入函数与解之间的映射。(Lu et al., 2021 (https://arxiv.org/html/2606.07601#bib.bib6)) 通过分支网络表示输入函数，通过干网络表示查询位置，从而能够在不同域上逼近高度非线性的算子。基于这一概念，求解偏微分方程 (PDE) 的神经网络，如 (Li et al., 2020a (https://arxiv.org/html/2606.07601#bib.bib3), b (https://arxiv.org/html/2606.07601#bib.bib4)) 中所述，推广了分辨率不变的方法。傅里叶神经算子 (FNO) (Li et al., 2021 (https://arxiv.org/html/2606.07601#bib.bib5)) 后来被提出作为算子学习的一种频域方法。FNO 使用傅里叶变换在频域参数化积分核，仅保留和更新低频模式，以实现分辨率不变性、高效训练以及在复杂 PDE 基准上的强大性能。(Shin et al., 2022 (https://arxiv.org/html/2606.07601#bib.bib8)) 从理论和实验上证明，通过细化基于傅里叶的核来扩展 FNO 可以增强在高频或非均匀场景中的表达能力。然而，其对周期边界条件和规则网格的依赖限制了其在一般几何形状上的适用性。虽然一些研究试图通过向现有模型融入额外技术来解决这些限制 (Li et al., 2024 (https://arxiv.org/html/2606.07601#bib.bib15); Diab and Al-Kobaisi, 2025 (https://arxiv.org/html/2606.07601#bib.bib20); Eshaghi et al., 2025 (https://arxiv.org/html/2606.07601#bib.bib19))，但其他工作则旨在通过扩展域来解决问题。

(Fanaskov and Oseledets, 2023 (https://arxiv.org/html/2606.07601#bib.bib11)) 通过将傅里叶级数与切比雪夫基结合来增强表示，改进了周期设置之外的逼近能力。(Bonev et al., 2023 (https://arxiv.org/html/2606.07601#bib.bib12)) 将 FNO 方法扩展以尊重二维球体的几何形状，适用于预测大气动力学，而 (Li et al., 2023 (https://arxiv.org/html/2606.07601#bib.bib9); Tran et al., 2023 (https://arxiv.org/html/2606.07601#bib.bib10)) 则将神经算子从均匀矩形网格推广到任意几何形状，扩展了其在复杂空间域上的适用性。最近，拉普拉斯神经算子 (LNO) (Cao et al., 2024 (https://arxiv.org/html/2606.07601#bib.bib17)) 被提出，将算子学习扩展到拉普拉斯域。通过利用极点-留数公式，LNO 自然地捕捉动力系统的瞬态和稳态行为，为具有非周期或指数衰减响应的问题提供了更高的精度。虽然 LNO 捕捉了稳态信号的表示，但 FNO 在频域学习其复杂非线性模态交互方面提供了更鲁棒的机制。

受 LNO 和 FNO 频谱分解能力的启发，我们提出了拉普拉斯-傅里叶神经算子 (LFNO)，这是一个统一框架，协同结合了它们各自的优势。LFNO 利用拉普拉斯域表示来隔离瞬态动力学，同时采用傅里叶积分算子来增强频域中稳态分量的表达性。我们的贡献如下：

- • 我们开发了 LFNO，一种新颖的算子，统一了拉普拉斯域极点-留数建模与傅里叶频谱分析的理论基础。
- • 我们引入了一种架构级别的集成，通过双分支处理来处理瞬态和稳态分量，确保复杂时间演化的高保真逼近。
- • 通过全面的基准测试，我们证明 LFNO 在具有瞬态行为的 ODE 上显著优于 LNO 和 FNO，同时在复杂 PDE 系统上保持与 FNO 竞争的性能。

## 2 方法

本节详细说明如何将 LNO 和 FNO 的互补优势结合起来，以开发我们提出的方法——拉普拉斯-傅里叶神经算子 (LFNO)。

#### 极点-留数公式

基于 LNO 的理论基础 (Cao et al., 2023 (https://arxiv.org/html/2606.07601#bib.bib16), 2024 (https://arxiv.org/html/2606.07601#bib.bib17))，我们通过将核积分算子替换为在拉普拉斯域中定义的表示来对动力系统进行建模。具体来说，我们将核 \(K_{\phi}(s)\) 参数化为极点-留数形式：\(K_{\phi}(s)=\sum_{n=1}^{N}\frac{\beta_{n}}{s-\mu_{n}}\)，其中 \(\beta_{n}\) 和 \(\mu_{n}\) 分别表示可训练的复数极点和留数。根据留数定理 (Cao et al., 2023 (https://arxiv.org/html/2606.07601#bib.bib16))，变换后的输出 \(U(s)=K_{\phi}(s)V(s)\) 允许以下极点-留数分解：

\[
U(s)=\sum_{n=1}^{N}\frac{\gamma_{n}}{s-\mu_{n}}+\sum_{\ell=-\infty}^{\infty}\frac{\lambda_{\ell}}{s-i\omega_{\ell}},
\tag{1}
\]

其中响应留数 \(\gamma_{n}\) 和 \(\lambda_{\ell}\) 由下式给出：

\[
\gamma_{n}=\beta_{n}\sum_{\ell=-\infty}^{\infty}\frac{\alpha_{\ell}}{\mu_{n}-i\omega_{\ell}},\quad
\lambda_{\ell}=\alpha_{\ell}\sum_{n=1}^{N}\frac{\beta_{n}}{i\omega_{\ell}-\mu_{n}},
\tag{2}
\]

其中 \(\alpha_{\ell}\) 表示输入的复傅里叶系数。该公式允许将响应严格分离为两个不同的分量：与系统极点 \(\mu_{n}\) 相关的瞬态响应，以及与输入信号的激励极点 \(i\omega_{\ell}\) 相关的稳态响应。通过在系统极点 \(\mu_{n}\) 处评估留数 \(\gamma_{n}\)，在激励极点 \(i\omega_{\ell}\) 处评估留数 \(\lambda_{\ell}\)，时域解 \(u(t)\) 通过逆拉普拉斯变换重构为衰减指数和振荡指数的叠加。

虽然这种双响应表征将频谱分析扩展到超越传统的基于傅里叶的方法 (Li et al., 2021 (https://arxiv.org/html/2606.07601#bib.bib5); Fanaskov and Oseledets, 2023 (https://arxiv.org/html/2606.07601#bib.bib11))，从而能够捕捉非平稳的衰减动力学，但原始 LNO 中对稳态分量的离散处理可能限制其对复杂非线性依赖关系的表达能力。为了解决这个问题，我们利用 FNO 框架 (Li et al., 2021 (https://arxiv.org/html/2606.07601#bib.bib5)) 来泛化稳态响应。通过在频域中应用学习到的算子 \(R\)，我们的 LFNO 有效地捕捉了简单线性极点-留数方法可能忽略的频谱耦合和非线性。这种混合方法确保了瞬态分支在 \(s\) 平面上解决衰减动力学，而稳态分支在频域中实现高保真收敛。

#### 数学表述

遵循 (Cao et al., 2024 (https://arxiv.org/html/2606.07601#bib.bib17))，我们采用拉普拉斯域表示的单极点假设，其中学习到的表示的逆拉普拉斯变换产生解：

\[
u(t)=\sum_{n=1}^{N}\gamma_{n}e^{\mu_{n}t}+\sum_{\ell=-L}^{L}\lambda_{\ell}e^{i\omega_{\ell}t},
\tag{3}
\]

其中第一项对应于瞬态响应 \(u_{\text{transient}}(t)\)，第二项对应于稳态响应 \(u_{\text{steady}}(t)\)。由于 \(u_{\text{steady}}(t)\) 是离散频率模式的叠加，我们应用傅里叶变换将其表示在频域中：

\[
\mathcal{F}(u_{\text{steady}})(\omega)=\sum_{\ell=-L}^{L}\lambda_{\ell}\delta(\omega_{\ell}-\omega).
\tag{4}
\]

我们现在应用傅里叶积分算子 (Li et al., 2021 (https://arxiv.org/html/2606.07601#bib.bib5))。在离散频域中，FNO 将算子 \(R\) 参数化为一个复值张量 \(R \in \mathbb{C}^{d \times d \times (2L+1)}\)，其中 \(d\) 是隐藏通道数。对于每个频率模式 \(\ell \in \{-L,\dots,L\}\)，更新后的稳态系数 \(\hat{\lambda}_{\ell}\) 计算如下：

\[
\hat{\lambda}_{\ell}=R_{\ell}\cdot\lambda_{\ell},\quad \text{for } -L \leq \ell \leq L
\tag{5}
\]

其中 \(R_{\ell}\in\mathbb{C}^{d \times d}\) 是第 \(\ell\) 个模式的可学习权重矩阵。这种变换允许模型学习一个神经近似的传递函数，从而增强稳态分量的表达性。应用逆变换，增强后的稳态响应 \(\tilde{u}_{\text{steady}}\) 由下式得到：

\[
\tilde{u}_{\text{steady}}(t)=\sum_{\ell=-L}^{L}\hat{\lambda}_{\ell}e^{i\omega_{\ell}t}=\sum_{\ell=-L}^{L}(R_{\ell}\lambda_{\ell})e^{i\omega_{\ell}t}.
\tag{6}
\]

最终解被表述为保留的瞬态动力学与滤波后的稳态响应的叠加：

\[
u(t)=\sum_{n=1}^{N}\gamma_{n}e^{\mu_{n}t}+\sum_{\ell=-L}^{L}(R_{\ell}\lambda_{\ell})e^{i\omega_{\ell}t}.
\tag{7}
\]

方程 7 (https://arxiv.org/html/2606.07601#S2.E7) 中的加法组合遵循线性微分方程的叠加原理，而分量之间的非线性相互作用则进一步由后续架构中的局部线性变换和投影层来捕捉。

#### 架构

整体架构如图 1 (https://arxiv.org/html/2606.07601#S2.F1) 所示。从输入函数 \(\mathbf{f}(t)\) 开始，我们首先使用神经网络 \(\mathcal{P}\) 将其提升到更高维的表示。然后我们应用拉普拉斯变换得到 \(v(t)\)，并将其分解为每个通道的瞬态和稳态分量。在稳态层中，我们将算子 \(R_{\ell}\) 应用于较低傅里叶模式，同时滤除较高模式以实现正则化和计算效率 (Li et al., 2021 (https://arxiv.org/html/2606.07601#bib.bib5))。瞬态层在时域中运行，对衰减指数动力学进行建模。在本研究中，我们分配给瞬态模块的层数多于稳态模块。这种设计选择基于经验观察：与周期性和结构化的稳态响应相比，以快速转变和复杂时空梯度为特征的瞬态阶段通常需要更高的模型容量才能实现收敛。最后，应用集成了非线性激活函数的局部线性变换 \(W\)，结果通过另一个神经网络 \(\mathcal{Q}\) 投影回目标维度。

\(a\)
\(b\)

图 1：LFNO 的模型架构。(\(a\)) 整体流程：给定输入函数 \(\mathbf{f}(t)\)，1. 通过一个浅层神经网络 \(\mathcal{P}\) 将输入函数 \(\mathbf{f}(t)\) 嵌入到更高维的潜在空间 \(\mathbf{v}(t)\) 中，2. 应用拉普拉斯变换 \(\mathcal{L}\)，3. 对每个分量分别通过瞬态层和稳态层，3. 将整合后的结果投影回目标空间以获得输出 \(u(t)\)。(\(b\)) 稳态层结构：混合频谱处理，应用极点-留数方法，随后在较低傅里叶模式上应用可学习的傅里叶权重矩阵 \(R\)，并滤除较高模式。

## 3 数据集生成

为了严格评估 LFNO 的泛化能力和数据效率，我们在广泛的物理系统中合成了自定义数据集。我们采用了三个 ODE（杜芬振子、洛伦兹系统、单摆）和六个 PDE（欧拉-伯努利梁、热传导、反应扩散、布鲁塞尔振子、伯格斯方程、纳维-斯托克斯方程）。这些基准被特别选择以代表多样的频谱特性，从简单的振荡到高度非线性的湍流。数据集的样本可视化如附录 D (https://arxiv.org/html/2606.07601#A4) 所示。

### 3.1 ODE

我们通过改变源项 \(f(t)=Ae^{-0.05t}\sin(5t)\) 中的参数 \(A\)，为每个 ODE 数据集生成了 380 个样本，如 (Cao et al., 2024 (https://arxiv.org/html/2606.07601#bib.bib17)) 中所述，其中 \(A\) 从区间 \([0.05, 10]\) 内 380 个均匀间隔的值中采样。虽然独立轨迹的数量相对较少 (\(N=380\))，但每个样本包含一个高密度序列，包含 2048 个时间步，分辨率为 \(\Delta t=0.01s\)。这种配置有意设计为评估模型在数据稀缺场景下的样本效率，挑战框架从有限的物理实现中解析复杂的时间演化。这样的设置反映了现实世界中的场景，其中高保真数据获取在计算或实验上成本高昂。我们采用 `solve_`