LiNO: 基于提升的多分辨率神经算子

# LiNO: 基于提升的多分辨率神经算子
来源：https://arxiv.org/html/2607.02715
Subham Pateland Ratikanta Behera11affiliationmark: Department of Computational and Data Sciences, Indian Institute of Science, Bangalore 560012, India22affiliationmark: IISc Mathematics Initiative, Department of Mathematics, Indian Institute of Science, Bangalore, 560012, Indiaphimanshu@iisc\.ac\.in,subhampatel@iisc\.ac\.in,ratikanta@iisc\.ac\.in (https://arxiv.org/html/2607.02715v1/mailto:,%0A)

###### 摘要

近年来，神经算子在直接从数据学习微分方程解算子方面展现了良好的前景。该框架通过学习从参数场到解场的函数映射，能够预测整类解而非单个实例。然而，现有算子往往难以同时捕捉全局动力学和细尺度结构。为了设计能够表示多尺度特征的有效算子，需要一种层次化的多尺度分解框架。在本研究中，我们提出了提升神经算子（LiNO），这是一种基于第二代小波提升方案构建的多分辨率算子。LiNO通过参数化提升变换直接从数据中学习多分辨率分解。这种提升变换自适应于底层解函数，并且通过构造恰好可逆，从而实现信息保持的多尺度算子学习。在提升后的多分辨率空间中，算子分别演化粗尺度系数和方向性细节系数，从而实现对底层物理的尺度感知建模。我们在多个基准测试上评估了LiNO，包括达西流、泊松方程、艾伦-卡恩方程、可压缩纳维-斯托克斯方程和格雷-斯科特反应扩散系统。这些测试涵盖了广泛的物理行为，从多尺度现象、输运主导到混沌动力学。与最先进的神经算子相比，LiNO在这些具有挑战性的基准测试上表现出强劲的性能。结果表明，自适应多分辨率算子是科学机器学习的一个有前景的方向。

###### 关键词：

深度学习，神经算子，小波，多尺度问题

## 1 引言

许多科学与工程系统涉及偏微分方程（PDE），需要针对给定输入参数估计解场。这类应用出现在流体动力学、反应-扩散系统、气候预测和相场演化等多个领域。这些系统通常具有强非线性、多尺度和混沌动力学特征，涉及局部相干结构、输运主导的演化以及长程时间依赖。传统的数值求解器，如有限差分法[20 (https://arxiv.org/html/2607.02715#bib.bib24)]、有限元法[7 (https://arxiv.org/html/2607.02715#bib.bib29)]和谱方法[3 (https://arxiv.org/html/2607.02715#bib.bib16),4 (https://arxiv.org/html/2607.02715#bib.bib17)]，通常需要对不同参数、强迫项或初始条件进行重复且昂贵的模拟，这使得大规模不确定性量化、逆向设计和实时预测在计算上代价高昂。

神经算子最近作为一种直接从数据中学习无限维函数空间之间映射的强大框架而出现[9 (https://arxiv.org/html/2607.02715#bib.bib10)]。早期的进展，如深度算子网络（DeepONet）[14 (https://arxiv.org/html/2607.02715#bib.bib9)]，证明了神经网络可以通过分支-主干架构来逼近非线性算子。DeepONet为算子学习奠定了理论基础，并在各种参数化PDE问题上展现了强大的逼近能力。随后，傅里叶神经算子（FNO）[12 (https://arxiv.org/html/2607.02715#bib.bib6)]及其变体[11 (https://arxiv.org/html/2607.02715#bib.bib27),10 (https://arxiv.org/html/2607.02715#bib.bib28)]通过在傅里叶空间中参数化积分核并通过谱卷积高效学习全局卷积算子，取得了显著成功。借助快速傅里叶变换（FFT），FNO实现了强大的计算复杂度，并在多个基准PDE系统上表现出色，特别是在平滑动力学和周期域上。然而，FNO本质上依赖于全局谱表示和低频模式截断。虽然对平滑动力学有效，但这种谱截断可能会不可逆地丢弃在多尺度PDE系统中具有物理重要性的细尺度信息。此外，傅里叶表示的全局性可能限制局部适应性，并降低对涉及尖锐界面、局部结构和多尺度现象的强非线性系统的表示效率。

为了解决其中一些局限性，研究人员提出了多种神经算子架构。小波神经算子（WNO）[25 (https://arxiv.org/html/2607.02715#bib.bib7)]引入了小波域算子学习，通过多分辨率分析[15 (https://arxiv.org/html/2607.02715#bib.bib14),6 (https://arxiv.org/html/2607.02715#bib.bib15)]更好地捕捉局部空间结构。由于小波同时提供空间和频率局部化，WNO相比纯粹的全局谱方法改进了多尺度特征的表示。然而，WNO依赖于预定义的小波基和固定的变换算子。因此，分解本身对底层解的非线性动力学保持非自适应性。这表明，虽然多分辨率表示很重要，但分解机制本身的自适应性和可学习性在鲁棒的神经算子学习中起着关键作用。

除了FNO和WNO之外，还探索了其他几种谱神经算子，例如拉普拉斯神经算子（LNO）[5 (https://arxiv.org/html/2607.02715#bib.bib8)]。LNO通过可学习的极点-留数表示在拉普拉斯域中执行算子学习。这种公式非常适合于快速演化的系统，如脉冲响应和波阻尼现象。然而，与其他基于变换的神经算子一样，它并不明确支持自适应多分辨率算子学习。随后的进展，包括基于U-Net的算子（UNO）[18 (https://arxiv.org/html/2607.02715#bib.bib12)]和卷积神经算子（CNO）[19 (https://arxiv.org/html/2607.02715#bib.bib11)]，通过局部卷积和编码器-解码器架构探索了层次化的多分辨率表示。这些方法有效地学习了局部结构，并提供了跨多分辨率的更好特征传播。然而，重复的池化和插值操作往往会造成信息瓶颈和不可逆的压缩伪影。

尽管神经算子学习取得了显著进展，但仍然存在一些局限性。大多数现有算子难以同时学习全局动力学和细尺度结构[1 (https://arxiv.org/html/2607.02715#bib.bib13)]。此外，基于变换的算子依赖于固定基，这可能无法有效适应特定问题的解场。相比之下，基于卷积和池化的算子通常不能恰好可逆，并且在长期演化过程中常常丢失物理上重要的结构[13 (https://arxiv.org/html/2607.02715#bib.bib30)]。这些问题在强非线性和混沌PDE系统中尤为明显，在这些系统中，稳定且准确的自回归预测仍然具有挑战性。

为了解决这些挑战，我们提出了提升神经算子（LiNO），一种受提升方案[21 (https://arxiv.org/html/2607.02715#bib.bib5),22 (https://arxiv.org/html/2607.02715#bib.bib4)]启发的多分辨率神经算子。提升方案已被用于开发求解PDE的自适应数值方法[26 (https://arxiv.org/html/2607.02715#bib.bib2)]，并扩展到曲面和复杂几何域上的多级算子逼近[2 (https://arxiv.org/html/2607.02715#bib.bib3),16 (https://arxiv.org/html/2607.02715#bib.bib1)]。与依赖固定解析变换的基于变换的算子不同，LiNO将提升过程表述为一个可学习的神经算子框架，其中变换本身使用神经网络进行参数化，并直接从数据中优化。这种公式使多分辨率基能够适应底层解场，从而改进对非线性局部结构和多尺度相互作用的表示。提升变换的另一个关键优势是其构造上的恰好可逆性，保证了无损分解和重建，无需正交性约束或谱截断。因此，LiNO避免了傅里叶截断和基于池化的架构中常见的信息不可逆损失。

我们在多个基准PDE上评估了所提出的框架，包括艾伦-卡恩方程、达西流、泊松方程、粘性和无粘状态下的可压缩纳维-斯托克斯方程，以及格雷-斯科特反应扩散系统。实验结果表明，与最先进的神经算子（包括FNO、WNO、UNO、CNO和LNO）相比，LiNO在这些具有挑战性的基准测试上始终达到更优或极具竞争力的精度。特别是，在需要保留局部细尺度结构的问题中，如无粘纳维-斯托克斯湍流、艾伦-卡恩界面动力学和格雷-斯科特结构形成，LiNO表现出尤其强劲的性能，突显了自适应可逆多分辨率算子学习的有效性。

本工作的主要贡献总结如下：

- • 我们提出了LiNO，一种新颖的基于提升的神经算子框架，它将第二代小波提升方案集成到神经算子学习中，提供了完全可逆且可学习的多分辨率分解，专门为PDE训练数据定制。
- • 所提出的框架通过预测和更新算子部署可学习变换，使多分辨率分解直接适应PDE解流形的内在结构。
- • LiNO在提升后的多分辨率空间中提供了一种尺度感知的算子演化机制，分别传播粗尺度系数和方向性细节系数，同时保持局部物理交互。
- • 我们通过大量实验验证了LiNO的有效性，在一组多样且具有挑战性的PDE基准测试上达到了最先进或极具竞争力的性能。

本文的其余部分组织如下：第2节 (https://arxiv.org/html/2607.02715#S2)介绍了提出的LiNO框架，包括问题公式、可学习的提升分解、多级提升策略以及提升空间中的算子演化。第3节 (https://arxiv.org/html/2607.02715#S3)描述了基准PDE问题、数据集和实验设置。第4节 (https://arxiv.org/html/2607.02715#S4)给出了与最先进神经算子框架的定量和定性比较。最后，第5节 (https://arxiv.org/html/2607.02715#S5)总结了关键发现，讨论了当前框架的局限性，并概述了未来的研究方向。

## 2 基于提升的多分辨率神经算子

### 2.1 问题公式

令D⊂RdD\\subset\\mathbb\{R\}^\{d\}表示一个有界空间域，并令

A=A\(D;Rda\),U=U\(D;Rdu\)\\mathcal\{A\}=\\mathcal\{A\}\(D;\\mathbb\{R\}^\{d\_\{a\}\}\),\\qquad\\mathcal\{U\}=\\mathcal\{U\}\(D;\\mathbb\{R\}^\{d\_\{u\}\}\)(1)

为分别表示输入和输出函数空间的可分巴拿赫空间。我们考虑学习非线性解算子的问题

G†:A→U,u=G†\(a\),\\mathcal\{G\}^\{\\dagger\}:\\mathcal\{A\}\\rightarrow\\mathcal\{U\},\\qquad u=\\mathcal\{G\}^\{\\dagger\}\(a\),(2)

其中a\(x\)a\(x\)表示输入场，它可能代表初始条件、强迫项或任何其他具有物理相关性的函数参数，而u\(x\)u\(x\)表示底层参数化PDE的对应解场。

给定一组配对观测数据

\{\(aj,uj\)\}j=1N,uj=G†\(aj\),\\\{\(a\_\{j\},u\_\{j\}\)\\\}\_\{j=1\}^\{N\},\\qquad u\_\{j\}=\\mathcal\{G\}^\{\\dagger\}\(a\_\{j\}\),(3)

我们的目标是构造一个参数化的神经算子Gθ:A→U,\\mathcal\{G\}\_\{\\theta\}:\\mathcal\{A\}\\rightarrow\\mathcal\{U\},来逼近未知映射G†\\mathcal\{G\}^\{\\dagger\}。参数θ\\theta通过最小化平均相对l2\\ell\_\{2\}误差损失得到：

Loss\(θ\)=1N∑j=1N‖Gθ\(aj\)−uj‖2‖uj‖2\.\\text\{Loss\}\(\\theta\)\\;=\\;\\frac\{1\}\{N\}\\sum\_\{j=1\}^\{N\}\\frac\{\\bigl\\\|\\mathcal\{G\}\_\{\\theta\}\(a\_\{j\}\)\-u\_\{j\}\\bigr\\\|\_\{2\}\}\{\\bigl\\\|u\_\{j\}\\bigr\\\|\_\{2\}\}\.(4)

### 2.2 提升方案

提升方案[22 (https://arxiv.org/html/2607.02715#bib.bib4)]最初作为第二代小波的空间构造方法引入，为构建双正交多分辨率分解提供了一种通用机制。该方案直接在空间域构造小波，无需依赖傅里叶变换，从而在不规则网格、复杂域和非均匀采样上实现自适应表示。

形式上，令L2\(D\)L^\{2\}\(D\)表示定义在域DD上的平方可积函数的希尔伯特空间。Rd\\mathbb\{R\}^\{d\}的第二代多分辨率分析产生了一组子空间序列\{Vj\}j∈Z⊂L2\(D\)\\\{V\_\{j\}\\\}\_\{j\\in\\mathbb\{Z\}\}\\subset L^\{2\}\(D\)，其中每个空间在分辨率水平jj上由尺度函数φj,k\\varphi\_\{j,k\}和小波函数ψj,m\\psi\_\{j,m\}张成。在此框架内，提升方案[22 (https://arxiv.org/html/2607.02715#bib.bib4)]通过两个基本操作从现有滤波器组构造一个新的双正交滤波器组：

1. 1.预测步骤：给定粗尺度（尺度函数）系数\{λj,k\}\\\{\\lambda\_\{j,k\}\\\}，预测同一水平上的细节（小波）系数\{γj,k\}\\\{\\gamma\_\{j,k\}\\\}： γj,mnew=γj,mold−∑k∈K\(j,m\)sj,k,mλj,k\.\\gamma\_\{j,m\}^\{\\mathrm\{new\}\}=\\gamma\_\{j,m\}^\{\\mathrm\{old\}\}\-\\sum\_\{k\\in\\mathcal\{K\}\(j,m\)\}s\_\{j,k,m\}\\,\\lambda\_\{j,k\}\.(5)
2. 2.更新步骤：使用新计算出的细节修正尺度系数，以保持全局平均值（消失矩）： λj,knew=λj,kold\+∑m∈M\(j,k\)s~j,k,mγj,mnew\.\\lambda\_\{j,k\}^\{\\mathrm\{new\}\}=\\lambda\_\{j,k\}^\{\\mathrm\{old\}\}\+\\sum\_\{m\\in\\mathcal\{M\}\(j,k\)\}\{\\tilde\{s\}\}\_\{j,k,m\}\\,\\gamma\_\{j,m\}^\{\\mathrm\{new\}\}\.(6)

提升定理[22 (https://arxiv.org/html/2607.02715#bib.bib4), Thm. 8.1]保证，无论预测和更新算子如何选择，得到的滤波器组总是双正交的，并且变换通过反转和取反每个步骤即可轻松实现可逆。

参考图注Fig. 2.1: 输入场a\(x\)a\(x\)通过编码器E\\mathcal\{E\}编码为潜在表示。可学习的预测算子Pω\\mathcal\{P\}\_\{\\omega\}和更新算子Uφ\\mathcal\{U\}\_\{\\phi\}，并结合空间坐标g\(x,y\)g\(x,y\)，执行自适应多尺度分解和重建。算子学习在提升空间中使用核算子KΦ\\mathcal\{K\}\_\{\\Phi\}进行，随后通过多级逆提升变换和解码器D\\mathcal\{D\}得到最终输出。