SirenFNO：傅里叶神经算子的高效全频学习

# SirenFNO：傅里叶神经算子的高效全频学习
来源：https://arxiv.org/html/2606.11518
Jie Yin，Stephen Tierney，Junbin Gao 澳大利亚悉尼大学 \{pengqing\.shi, jie\.yin, stephen\.tierney, junbin\.gao\}@sydney\.edu\.au

###### 摘要

傅里叶神经算子（FNO）是近似偏微分方程解的高效替代模型，能跨离散化泛化。然而，由于依赖频率截断来保持FNO的学习效率，实证研究表明FNO存在偏向低频信息的谱偏差，这可能削弱其学习能力，尤其是在处理具有强高频振荡的某些偏微分方程时。为解决这一局限，我们提出SirenFNO，一种利用正弦表示网络（SIREN）学习隐式神经表示并执行按模态核参数化的新颖框架。我们的SIREN参数化以常数且与离散化无关的参数数量学习全网格频谱，从而消除了频率截断的需求。我们进一步通过函数张量分解扩展SirenFNO，以提升参数和学习效率。实验结果表明，我们的SirenFNO在保持离散化不变性的前提下，始终优于FNO，参数减少约44到1515倍；而我们的函数分解变体在多个PDE基准测试中，以最多7373倍的参数减少获得了性能提升。

## 1 引言

算子学习旨在逼近无穷维函数空间之间的映射，在科学计算和物理模拟中有着广泛应用。近年来，神经算子（NOs）[Lu et al. (2021)](https://arxiv.org/html/2606.11518#bib.bib20)；[Li et al. (2021)](https://arxiv.org/html/2606.11518#bib.bib16)；[Kovachki et al. (2023)](https://arxiv.org/html/2606.11518#bib.bib13)已被用于高效求解各类偏微分方程（PDE），包括天气预报[Pathak et al. (2022)](https://arxiv.org/html/2606.11518#bib.bib21)、工程设计[Liu et al. (2023)](https://arxiv.org/html/2606.11518#bib.bib18)、正/反问题[Raissi and Karniadakis (2018)](https://arxiv.org/html/2606.11518#bib.bib26)；[Raissi et al. (2019)](https://arxiv.org/html/2606.11518#bib.bib27)等。

傅里叶神经算子（FNO）[Li et al. (2021)](https://arxiv.org/html/2606.11518#bib.bib16)是一类已被证明在求解PDE算子方面非常高效且有效的神经算子。具体来说，FNO通过应用快速傅里叶变换（FFT）在频域中计算核积分，在其中执行学习到的卷积，然后通过逆FFT（IFFT）映射回空间域。在实际应用中，FNO并非为每个频率穷举学习卷积权重，而是以选定的阈值进行频率截断，仅保留低频模态并丢弃高频分量。这带来了计算量的节省、更少的参数以及近乎与离散化无关的特性。然而，频率截断的使用可能无法保持神经算子连续表示与离散表示之间的等价性[Gao et al. (2025)](https://arxiv.org/html/2606.11518#bib.bib6)，并且会削弱模型在某些具有强高频振荡的PDE中捕获高频细节的能力[Xiao et al. (2024)](https://arxiv.org/html/2606.11518#bib.bib34)。

为了解决频率截断给FNO带来的上述关键局限性，我们提出通过超网络参数化傅里叶核。该超网络执行按模态核权重生成，动态地为每个频率模态生成核参数，无需任何显式截断，从而能够在任意离散化分辨率下进行学习。更重要的是，由于谱核为每个傅里叶模态学习一个单独的权重，普通FNO中可学习的核参数数量由截断后保留的模态数决定，且在不进行截断时，该数量随网格分辨率缩放。相比之下，在我们的方法中，参数数量仅取决于超网络架构，并在不同分辨率下保持固定。

具体而言，我们使用SIREN[Sitzmann et al. (2020)](https://arxiv.org/html/2606.11518#bib.bib28)作为超网络来生成傅里叶核系数。与传统的替代方案（如MLP，后者对低频模态表现出谱偏差[Rahaman et al. (2019)](https://arxiv.org/html/2606.11518#bib.bib24)；[Qin et al. (2024)](https://arxiv.org/html/2606.11518#bib.bib23)；[Zhi-Qin John Xu et al. (2020)](https://arxiv.org/html/2606.11518#bib.bib35)）不同，SIREN的正弦激活能够高效捕获高频和低频信息。因此，SIREN提供了一种平滑且连续的参数化，它与任何特定离散化无关，且不易受谱偏差影响，使其成为FNO积分核的理想超网络。此外，SIREN以相对较少的可学习参数高效生成傅里叶核系数，我们通过引入函数张量分解[Vemuri et al. (2024)](https://arxiv.org/html/2606.11518#bib.bib31), [2025](https://arxiv.org/html/2606.11518#bib.bib32)进一步提升了其效率。

参见说明\(a\) 在32×3232\\times 32分辨率上训练和测试
参见说明\(b\) 在32×3232\\times 32上训练，在64×6464\\times 64上测试

图1：在32×3232\\times 32分辨率上训练的SirenFNO在达西流上的零样本超分辨率结果。本文的主要贡献如下：

- •我们提出了Siren-FNO框架，该框架利用SIREN作为超网络为所有频率模态生成卷积核权重，避免了谱截断，同时保持了计算和参数效率。
- •我们通过傅里叶积分核的函数张量分解扩展了Siren-FNO框架，具体包括典型多面体（CP）、张量列（TT）和Tucker分解。
- •我们在多个PDE基准测试中展示了所提方法的有效性和与分辨率无关的特性。

## 2 相关工作

#### 神经算子

神经算子学习连续函数空间之间的映射，常被用于求解PDE。在实际实现中，这些连续函数通常在离散化网格上表示。DeepONet[Lu et al. (2021)](https://arxiv.org/html/2606.11518#bib.bib20)采用两个子网络：分支网络编码固定传感器点上的输入函数值，主干网络学习查询位置到一组基函数的映射。这两个网络的输出随后被组合起来近似算子，并具有通用逼近定理的保证。拉普拉斯神经算子（LNO）[Cao et al. (2024)](https://arxiv.org/html/2606.11518#bib.bib2)使用拉普拉斯变换分解输入空间，并引入拉普拉斯层以在拉普拉斯域中更好地学习非周期信号。此外，注意力机制也被探索用于算子学习[Cao (2021)](https://arxiv.org/html/2606.11518#bib.bib3)。算子Transformer（OFormer）[Cao (2021)](https://arxiv.org/html/2606.11518#bib.bib3)是一个基于Transformer的神经算子框架，它采用输入编码器嵌入函数样本，并使用查询编码器投影任意输出位置。通用神经算子Transformer（GNOT）[Hao et al. (2023)](https://arxiv.org/html/2606.11518#bib.bib9)引入了一种异质性注意力算子来处理不同类型的输入函数。本文的工作聚焦于傅里叶神经算子[Li et al. (2021)](https://arxiv.org/html/2606.11518#bib.bib16)。

#### 傅里叶神经算子

FNO[Li et al. (2021)](https://arxiv.org/html/2606.11518#bib.bib16)在傅里叶空间中定义其卷积核，并使用快速傅里叶变换（FFT）高效学习算子。若干工作致力于进一步提升标准FNO的效率。因子化FNO（F-FNO）[Tran et al. (2023)](https://arxiv.org/html/2606.11518#bib.bib30)加深了FNO架构以捕获长程依赖，并通过因子化层以更少的参数高效学习每个特征维度。自适应FNO（AFNO）[Guibas et al. (2021)](https://arxiv.org/html/2606.11518#bib.bib8)利用具有可学习权重的MLP层，在频率模态间自适应共享，以降低计算复杂度。在效率之外，受FNO低频偏置的启发，一些研究致力于提升其高频学习能力。U-FNO[Wen et al. (2022)](https://arxiv.org/html/2606.11518#bib.bib33)在每个傅里叶层中融入U-Net路径以增强高频学习。摊销FNO（AM-FNO）[Xiao et al. (2024)](https://arxiv.org/html/2606.11518#bib.bib34)引入了一种可学习的傅里叶核积分摊销参数化，无需显式截断即可捕获高频信息。

参见说明图2：在2×22\\times 2分辨率下离散化的22维PDE上的SIREN参数化示意图
#### 动态超网络

超网络（hypernets）是生成主神经网络可学习权重的神经网络。超网络可根据其权重生成策略分为静态和动态两类[Chauhan et al. (2024)](https://arxiv.org/html/2606.11518#bib.bib4)。如果超网络的条件输入和输出针对预定的目标架构具有固定维度，则是静态的。相比之下，动态超网络用于为动态架构的主网络生成模型权重，这意味着主神经网络的结构在训练和推理阶段可能发生变化或未知。动态超网络已被用于形状重建[Littwin and Wolf (2019)](https://arxiv.org/html/2606.11518#bib.bib17)、自动网络剪枝[Li et al. (2020)](https://arxiv.org/html/2606.11518#bib.bib15)或高效架构搜索[Peng et al. (2020)](https://arxiv.org/html/2606.11518#bib.bib22)。在本文中，我们采用动态超网络以实现跨离散化的参数化泛化。

#### 神经算子的张量分解

在算子学习中，张量分解常被用于分离PDE的维度或变量，以提升参数效率。TDMD-DeepONet[Chen et al. (2025)](https://arxiv.org/html/2606.11518#bib.bib5)将张量列和动态模式分解集成到DeepONet中，用于求解时间相关的PDE。TensorGRaD[Loeschcke et al. (2025)](https://arxiv.org/html/2606.11518#bib.bib19)直接对梯度张量执行Tucker分解。F-FNO[Tran et al. (2023)](https://arxiv.org/html/2606.11518#bib.bib30)通过沿问题维度的可分离谱层对傅里叶变换进行因子化。D-FNO[Li and Ye (2025)](https://arxiv.org/html/2606.11518#bib.bib14)将潜在特征分解为多个秩为11的张量积之和，并用多个11维FFT替代33维FFT，从而提高了33维PDE任务的效率。MG-TFNO[Kossaifi et al. (2023)](https://arxiv.org/html/2606.11518#bib.bib11)在多网格设置中采用张量分解来分离FNO的傅里叶卷积权重，以获得更高的参数效率。

## 3 预备知识

本节详细介绍傅里叶神经算子及其频率截断的设置。

### 3.1 傅里叶神经算子

对于一个有界域D⊂RdD\\subset\\mathbb\{R\}^\{d\}上的输入函数空间A=A\(D;Rda\)\\mathcal\{A\}=\\mathcal\{A\}\(D;\\mathbb\{R\}^\{d\_\{a\}\}\)和目标函数空间U=U\(D;Rdu\)\\mathcal\{U\}=\\mathcal\{U\}\(D;\\mathbb\{R\}^\{d\_\{u\}\}\)，算子学习旨在学习一个具有参数θ∈Rp\\theta\\in\\mathbb\{R\}^\{p\}的神经算子Gθ\\mathcal\{G\}\_\{\\theta\}，以从一组观测到的函数样本\{ai,ui\}i=1N\\\{a\_\{i\},u\_\{i\}\\\}\_\{i=1\}^\{N\}中逼近真实映射G:A→U\\mathcal\{G\}:\\mathcal\{A\}\\rightarrow\\mathcal\{U\}。对于损失函数LL，我们通过求解以下问题来学习神经算子：

minθ⁡1N∑i=1NL\(Gθ\(ai\),ui\)。\\min\_\{\\theta\}\\frac\{1\}\{N\}\\sum^\{N\}\_\{i=1\}L\\big\(\\mathcal\{G\}\_\{\\theta\}\(a\_\{i\}\),u\_\{i\}\\big\)。\(1\)

神经算子（NO）采用以下组合形式：

Gθ:=P∘LL∘LL−1∘⋯∘L1∘Q,\\mathcal\{G\}\_\{\\theta\}:=\\mathcal\{P\}\\circ\\mathcal\{L\}^\{L\}\\circ\\mathcal\{L\}^\{L\-1\}\\circ\\cdots\\circ\\mathcal\{L\}^\{1\}\\circ\\mathcal\{Q\},\(2\)

其中Q:A\(D,Rda\)→U\(D,Rdv\)\\mathcal\{Q\}\\\!:\\mathcal\{A\}\(D,\\mathbb\{R\}^\{d\_\{a\}\}\)\\rightarrow\\mathcal\{U\}\(D,\\mathbb\{R\}^\{d\_\{v\}\}\)是提升算子，P:U\(D,Rdv\)→U\(D,Rdu\)\\mathcal\{P\}\\\!:\\mathcal\{U\}\(D,\\mathbb\{R\}^\{d\_\{v\}\}\)\\rightarrow\\mathcal\{U\}\(D,\\mathbb\{R\}^\{d\_\{u\}\}\)是投影算子，每个NO层Ll\\mathcal\{L\}^\{l\}（其中l=1,2,...,Ll=1,2,\\dots,L）定义为：

v\(l\+1\)\\displaystyle v^\{\(l\+1\)\}\(x\)=L\(l\)\(v\(l\)\(⋅\)\)\(x\):=σ\(W\(l\)v\(l\)\(x\)\\displaystyle\(x\)=\\mathcal\{L\}^\{\(l\)\}\(v^\{\(l\)\}\(\\cdot\)\)\(x\):=\\sigma\\big\(W^\{\(l\)\}v^\{\(l\)\}\(x\)\(3\)\+∫Dκ\(x,x′,a\(x\),a\(x′\);φ\)v\(l\)\(x′\)dx′\),∀x∈D\\displaystyle\+\\int\_\{D\}\\kappa\(x,x^\{\\prime\},a\(x\),a\(x^\{\\prime\}\);\\phi\)v^\{\(l\)\}\(x^\{\\prime\}\)dx^\{\\prime\}\\big\),\\forall x\\in D

其中σ\\sigma是非线性激活，W∈Rdv×dvW\\in\\mathbb\{R\}^\{d\_\{v\}\\times d\_\{v\}\}是可学习权重矩阵，κ\\kappa是积分核。

傅里叶神经算子（FNO）[Li et al. (2021)](https://arxiv.org/html/2606.11518#bib.bib16)提出了一种傅里叶积分算子，通过在傅里叶域中执行卷积运算，满足平移不变性，即κφ\(x,x′,a\(x\),a\(x′\)\)=κφ\(x−x′\)\\kappa\_\{\\phi\}\(x,x^\{\\prime\},a\(x\),a\(x^\{\\prime\}\)\)=\\kappa\_\{\\phi\}\(x\-x^\{\\prime\}\)。应用卷积定理，傅里叶积分核随后定义为：

∫Dκφ\(x−x′\)dx′=F−1\(F\(κφ\)⋅F\(vl\)\)\(x\)\\int\_\{D\}\\kappa\_\{\\phi\}\(x\-x^\{\\prime\}\)dx^\{\\prime\}=\\mathcal\{F\}^\{\-1\}\(\\mathcal\{F\}\(\\kappa\_\{\\phi\}\)\\cdot\\mathcal\{F\}\(v^\{l\}\)\)\(x\)，∀x∈D\\forall x\\in D

然后，FNO在傅里叶域中将周期核函数κ\\kappa参数化为Rφ\(k\)∈Cdv×dv\\mathcal\{R\}\_\{\\phi\}\(k\)\\in\\mathbb\{C\}^\{d\_\{v\}\\times d\_\{v\}\}，使得对于k∈Zdk\\in\\mathbb\{Z\}^\{d\}有Rφ\(k\)=F\(κ\)\(k\)\\mathcal\{R\}\_\{\\phi\}\(k\)=\\mathcal\{F\}\(\\kappa\)\(k\)。

v\(l\+1\)\(x\)\\displaystyle v^\{\(l\+1\)\}\(x\)=σ\(W\(l\)v\(l\)\(x\)\\displaystyle=\\sigma\\Big\(W^\{\(l\)\}v^\{\(l\)\}\(x\)\(4\)\+F−1\(Rφl\(k\)⋅F\(v\(l\)\)\(k\)\)\(x\)\+b\(l\)\),∀x∈D\\displaystyle\+\\mathcal\{F\}^\{\-1\}\\big\(\\mathcal\{R\}\_\{\\phi\}^\{l\}\(k\)\\cdot\\mathcal\{F\}\(v^\{\(l\)\}\)\(k\)\\big\)\(x\)\+b^\{\(l\)\}\\Big\),\\forall x\\in D

### 3.2 频率截断

参见说明图3：在3×3×33\\times 3\\times 3分辨率下离散化的33维PDE上使用函数张量分解的SIREN参数化示例在许多PDE问题中，低频分量通常比高频分量具有更大的幅度[Boffetta and Ecke (2012)](https://arxiv.org/html/2606.11518#bib.bib1)；[George et al. (2024)](https://arxiv.org/html/2606.11518#bib.bib7)；[Jing et al. (2025)](https://arxiv.org/html/2606.11518#bib.bib10)。为了优先学习低频模态并提升参数效率，FNO通过丢弃高频分量来截断傅里叶谱，保留的频率模态数为预定数目kmax=\|\{k∈Zd:\|kj\|≤kmax,jforj=1,...,d\}\|k\_\{\\max\}=\|\\\{k\\in\\mathbb\{Z\}^\{