周期性物理信息神经网络中傅里叶谱微分与空间自动微分的计算比较

# 傅里叶谱微分与空间自动微分在周期性物理信息神经网络中的计算比较

来源：https://arxiv.org/html/2609.02110

梁锡来 邮箱：[liang24532@gtiit\.edu\.cn](mailto:[email protected]) 通讯作者：通讯作者 地址：中国广东省汕头市广东以色列理工学院
张钊 邮箱：[zhaozhang@sdu\.edu\.cn](mailto:[email protected]) 通讯作者：通讯作者 地址：中国山东省青岛市266237山东大学数学与交叉科学研究院

###### 摘要

物理信息神经网络（PINNs）通常使用自动微分（AD）来评估偏微分方程残差中出现的空间导数，当需要多个或高阶导数时，其计算和内存成本可能会变得相当可观。我们在周期性物理空间PINNs中对空间AD和傅里叶谱微分进行了受控比较。在每一对配对实验中，神经表示、时间微分、优化器、采样程序和训练计划均保持固定，因此两种情况仅在空间微分过程上存在差异。对于傅里叶变体，网络输出在均匀周期网格上进行评估并变换到傅里叶空间，其中空间导数通过谱乘法获得，并且相同的傅里叶系数在不同阶导数间重复使用。我们在Allen–Cahn和Korteweg–de Vries方程的标准PINNs中，以及Allen–Cahn、Korteweg–de Vries和Kuramoto–Sivashinsky方程的因果PINNs中比较了这两种过程。在这五种方程-框架设置中，傅里叶微分产生的平均配对端到端训练加速从2.90×到18.52×不等，并将峰值分配的图形处理器（GPU）内存减少了68.7%到94.1%。最终相对L2误差保持在同一数量级，两种微分过程均未表现出一致的精度优势。因此，对于本文考虑的一维周期性基准问题，傅里叶谱微分在保留相当解误差的同时，提供了比空间AD低得多的训练时间和内存使用，代价是需要均匀的结构化空间网格。

## 1 引言

物理信息神经网络（PINNs）通过使用神经网络表示未知场，并将控制方程、初始条件和边界条件纳入训练目标，来近似求解偏微分方程（PDEs）\[1 (https://arxiv.org/html/2609.02110#bib.bib1)\]。在基于坐标的PINNs中，PDE残差所需的导数通常通过对网络输入进行自动微分（AD）来评估\[1 (https://arxiv.org/html/2609.02110#bib.bib1)\]。这提供了逐点导数，而无需引入外部空间离散化，但需要在每次残差计算时评估导数。当PDE包含多个空间导数项或高阶导数时，重复的AD会引入额外的微分操作和更大的导数图，从而增加训练期间的计算和内存成本。

几种方法通过数值微分或控制方程的重构来减少或避免对空间AD的依赖。Sharma和Shankar\[2 (https://arxiv.org/html/2609.02110#bib.bib3)\]使用径向基函数有限差分离散化来评估空间导数，同时在时间相关问题中保留AD用于时间导数。耦合自动-数值微分物理信息神经网络（CAN-PINN）结合AD和数值微分来耦合相邻支持点\[3 (https://arxiv.org/html/2609.02110#bib.bib4)\]，而平滑核物理信息神经网络（SK-PINN）通过平滑核离散化来评估导数\[4 (https://arxiv.org/html/2609.02110#bib.bib5)\]。另一种策略是通过将高阶PDE重写为一阶系统来减少重复的高阶微分，例如一阶物理信息神经网络\[5 (https://arxiv.org/html/2609.02110#bib.bib6)\]。最近，FlashPDE将导数评估视为一个可微的基于网格的算子层，并独立于周围的神经架构实现了融合的有限差分算子\[6 (https://arxiv.org/html/2609.02110#bib.bib10)\]。

谱离散化提供了评估物理信息目标中所用导数的另一条途径。伪谱PINN公式已采用谱离散化进行物理信息模型发现\[7 (https://arxiv.org/html/2609.02110#bib.bib7)\]，而神经谱元法在固定谱节点上评估神经场，并用谱微分矩阵替代导数调用\[8 (https://arxiv.org/html/2609.02110#bib.bib11)\]。谱信息神经网络（SINN）通过傅里叶系数表示解，并将空间微分转换为谱域中的乘法\[9 (https://arxiv.org/html/2609.02110#bib.bib8)\]。其他近期方法，如可训练傅里叶特征网格公式，也在改进的神经表示中使用基于傅里叶变换的导数评估\[10 (https://arxiv.org/html/2609.02110#bib.bib9)\]。Xiao等人\[11 (https://arxiv.org/html/2609.02110#bib.bib12)\]用傅里叶滤波器替换了物理信息卷积循环网络（PhyCRNet）中的有限差分滤波器，将网络输出变换到傅里叶空间进行空间微分，并通过逆变换返回所得量以构建物理信息损失。这些研究证实，数值和谱微分可以通过多种神经表示和算子构造融入到物理信息学习中。

本研究解决了一个受控的计算问题：当周围的物理空间PINN公式保持固定不变时，傅里叶谱微分的更低导数成本有多少能转化为相对于空间AD的端到端训练时间和内存节省，以及这种变化如何影响解的精度？一个更便宜的微分算子不一定能产生成比例的端到端加速，特别是当网络评估或其他组件主导训练循环时；例如基于傅里叶滤波器的PhyCRNet在其时间序列模块占大部分计算成本时就报告了这种现象\[11 (https://arxiv.org/html/2609.02110#bib.bib12)\]。我们在标准PINNs和因果PINNs中检验了这个问题，后者使用了Wang等人的时间因果加权公式\[12 (https://arxiv.org/html/2609.02110#bib.bib2)\]。标准PINNs在Allen–Cahn和Korteweg–de Vries (KdV) 方程上进行评估，因果PINNs则在Allen–Cahn、KdV和Kuramoto–Sivashinsky (KS) 方程上进行评估。每个方程-框架设置使用三个配对的随机种子，每个配对训练设置中的所有组件都保持固定，除了空间微分过程。我们比较了最终的相对L2误差、端到端训练时间和峰值分配内存。在这五种方程-框架设置中，傅里叶谱微分产生的平均配对加速从2.90×到18.52×不等，并将峰值分配内存减少了68.7%到94.1%。最终的相对L2误差保持在同一数量级，两种微分过程均未表现出一致的精度优势。这些结果描述了本文考虑的一维周期性PINNs中空间AD与傅里叶谱微分之间的计算权衡，其中傅里叶过程需要均匀的结构化空间网格。

## 2 物理空间PINNs的空间微分过程

我们考虑形式如下的时间相关PDE：

ut+N⁡(u,ux,uxx,...)=0,u_{t}+\mathcal{N}(u,u_{x},u_{xx},\ldots)=0,\quad(1)

其中解由物理空间神经网络uθ=uθ(x,t)u_{\theta}=u_{\theta}(x,t)表示。我们比较评估PDE残差中出现的空间导数的两种过程：自动微分和傅里叶谱微分。两种情况下的神经表示和时间微分过程是相同的。

### 2.1 标准和因果PINN公式

对于采样的时间位置tit_{i}，空间平均残差损失为

Lt(i)=1Nx∑j=1Nxrθ(xj,ti)2,\mathcal{L}^{(i)}_{t}=\frac{1}{N_{x}}\sum_{j=1}^{N_{x}}r_{\theta}(x_{j},t_{i})^{2},\quad(2)

其中rθr_{\theta}表示PDE残差。初始条件贡献在相同的空间网格上评估为

L0=1041Nx∑j=1Nx[uθ(xj,0)−u0(xj)]2.\mathcal{L}_{0}=10^{4}\frac{1}{N_{x}}\sum_{j=1}^{N_{x}}\left[u_{\theta}(x_{j},0)\-u_{0}(x_{j})\right]^{2}.

对于标准PINN，时间残差贡献被均匀加权，

Lstandard=L0+1Nt∑i=1NtLt(i).\mathcal{L}_{\mathrm{standard}}=\mathcal{L}_{0}+\frac{1}{N_{t}}\sum_{i=1}^{N_{t}}\mathcal{L}^{(i)}_{t}.\quad(3)

对于因果PINNs，我们遵循Wang等人的时间因果加权构造\[12 (https://arxiv.org/html/2609.02110#bib.bib2)\]。令

Lt=[Lt(1)Lt(2)⋯Lt(Nt)]T,\mathbf{L}_{t}=\begin{bmatrix}\mathcal{L}^{(1)}_{t}&\mathcal{L}^{(2)}_{t}&\cdots&\mathcal{L}^{(N_{t})}_{t}\end{bmatrix}^{T},

并令MM表示严格下三角累积矩阵，其中当j<ij<i时Mij=1M_{ij}=1，否则Mij=0M_{ij}=0。因果权重计算为

w=exp⁡[−ε⁡(MLt+L01)],\mathbf{w}=\exp\left[\-\epsilon\left(M\mathbf{L}_{t}+\mathcal{L}_{0}\mathbf{1}\right)\right],\quad(4)

其中1∈RNt\mathbf{1}\in\mathbb{R}^{N_{t}}表示全1向量，指数按元素应用。我们在整个训练过程中使用固定的因果参数ε=0.1\epsilon=0.1。在评估加权残差损失之前，因果权重从计算图中分离出来，得到

Lcausal=L0+1Nt∑i=1NtwiLt(i).\mathcal{L}_{\mathrm{causal}}=\mathcal{L}_{0}+\frac{1}{N_{t}}\sum_{i=1}^{N_{t}}w_{i}\mathcal{L}^{(i)}_{t}.\quad(5)

### 2.2 空间自动微分

在自动微分基线中，空间导数通过对物理空间网络输出进行重复微分获得。例如，

ux=∂uθ∂x,uxx=∂∂x(∂uθ∂x),u_{x}=\frac{\partial u_{\theta}}{\partial x},\qquad u_{xx}=\frac{\partial}{\partial x}\left(\frac{\partial u_{\theta}}{\partial x}\right),

更高阶导数通过额外的嵌套微分操作获得。只评估相应PDE残差中出现的空间导数阶数。在我们的实现中，这些导数使用嵌套的雅可比-向量积（JVPs）构建。时间微分独立于空间微分过程，并且在两种情况下u_t u_{t}都是通过相同的基于JVP的自动微分路径评估的。

### 2.3 傅里叶谱微分

对于傅里叶谱微分，网络在端点排除的均匀周期网格上进行评估，

xj=x0+jΔx,j=0,...,Nx−1,Δx=LNx,x_{j}=x_{0}+j\Delta x,\qquad j=0,\ldots,N_{x}\-1,\qquad\Delta x=\frac{L}{N_{x}},

其中LL是空间周期。在固定时间t t时，采样的网络输出被变换到傅里叶空间，

ûk(t)=Fx[uθ(xj,t)],\widehat{u}_{k}(t)=\mathcal{F}_{x}\left[u_{\theta}(x_{j},t)\right],

其中Fx\mathcal{F}_{x}表示空间方向上的离散傅里叶变换。对于本文使用的单边实傅里叶表示，离散波数为

kn=2πnL,n=0,...,Nx2,k_{n}=\frac{2\pi n}{L},\qquad n=0,\ldots,\frac{N_{x}}{2},

适用于实验中使用的偶数空间分辨率。m阶空间导数然后计算为

∂xmu=Fx−1[(ik)mu^k].\partial_{x}^{m}u=\mathcal{F}_{x}^{-1}\left[(ik)^{m}\widehat{u}_{k}\right].\quad(6)

对于偶数Nx N_{x}，实逆变换在奈奎斯特模式处强制执行厄米约束。因此，对于奇数阶空间导数，奈奎斯特贡献消失，而对于偶数阶导数则被保留。

在有限Nx N_{x}时，此操作对由采样网络值定义的周期性三角插值进行微分。当同一时间位置需要多个空间导数阶数时，对网络输出进行单次傅里叶变换并重复使用，每个导数都使用相应的谱乘法器从相同的傅里叶系数获得。然后将导数变换回物理空间并用于构建PDE残差。

变换使用PyTorch提供的实值快速傅里叶变换例程实现。这些操作保留在计算图内，因此物理信息损失的梯度通过谱微分过程传播到网络参数。

## 3 数值实验

### 3.1 基准问题

我们考虑三个一维周期性PDE：Allen–Cahn、KdV和KS方程。这些方程包含不同组合和阶数的空间导数，并用于在第2节定义的两种PINN公式下比较自动微分和傅里叶谱微分。

Allen–Cahn方程为

ut−10−4uxx+5u3−5u=0,u_{t}\-10^{-4}u_{xx}+5u^{3}\-5u=0,\quad(7)

定义在x∈[−1,1)x\in[-1,1)和t∈[0,0.1]t\in[0,0.1]上，初始条件为u⁡(x,0)=0.5cos⁡(πx)u(x,0)=0.5\cos(\pi x)。KdV方程为

ut+uux+0.0025uxxx=0,u_{t}+uu_{x}+0.0025u_{xxx}=0,\quad(8)

定义在x∈[−1,1)x\in[-1,1)和t∈[0,0.1]t\in[0,0.1]上，初始条件为u⁡(x,0)=cos⁡(πx)u(x,0)=\cos(\pi x)。实验中使用的KS方程为

ut+10016uux+100162uxx+100164uxxxx=0,u_{t}+\frac{100}{16}uu_{x}+\frac{100}{16^{2}}u_{xx}+\frac{100}{16^{4}}u_{xxxx}=0,\quad(9)

定义在x∈[0,2π)x\in[0,2\pi)和t∈[0,0.1]t\in[0,0.1]上。其初始条件取自Wang等人附带的因果PINNs代码和数据中分发的冻结KS数值轨迹的第一个时间切片\[12 (https://arxiv.org/html/2609.02110#bib.bib2)\]。Allen–Cahn、KdV和KS分别要求的空间导数集为uxxu_{xx}、(ux,uxxx)(u_{x},u_{xxx})和(ux,uxx,uxxxx)(u_{x},u_{xx},u_{xxxx})。

### 3.2 实验设置

所有实验使用相同的底层物理空间神经网络配置。每个空间域使用Nx=256N_{x}=256个均匀周期网格点。神经表示是一个宽度为128的八层门控多层感知器，使用tanh门控、具有mt=6m_{t}=6和mx=5m_{x}=5的傅里叶输入编码，以及标量输出。空间坐标仅通过具有相应空间域周期的周期性正弦-余弦傅里叶特征进入网络。此表示强制空间坐标的周期性，因此不使用单独的空间边界条件损失。模型包含122,625个可训练参数。在每个优化步骤中，Nt=32N_{t}=32个独立的