Frequency Shift Physics-Informed Extreme Learning Machine for Solving High-Frequency Partial Differential Equations

# 频移物理信息极限学习机用于求解高频偏微分方程 来源：https://arxiv.org/html/2607.01694 熊雄¹,⁵，翟若男²，曾铮³,⁵，周盛³,⁵，胡荣春³,⁵，邓子辰¹,³,⁴,⁵ 1\. 西北工业大学数学与统计学院，西安 710072，中国； 2\. 石家庄学院理学院，石家庄 050035，中国； 3\. 西北工业大学工程力学系，西安 710072，中国； 4\. 西北工业大学航空工程系，西安 710072，中国； 5\. 西北工业大学复杂系统动力学与控制工信部重点实验室，西安 710072，中国 ###### 摘要 由于谱偏差——神经网络倾向于优先学习低频分量——求解具有高频解的偏微分方程（PDE）仍是物理信息机器学习中的核心挑战。本文提出一种频移物理信息极限学习机（FS-PIELM）框架，通过一种权重初始化的加法机制解决此问题。该方法不是将随机权重乘以缩放因子，而是平移高斯权重分布的均值，同时保持方差固定为单位值，从而避免了基于缩放的方法中固有的方差放大效应。我们开发了两种变体：FS-PIELM-L 为单个神经元分配独立的频率幅度，而 FS-PIELM-G 则将神经元分组以提高鲁棒性。理论分析表明，在该框架下，频率方差保持有界并趋近于单位值，与目标频率无关，这与传统方法中方差呈二次增长形成对比。该方法保留了极限学习机的计算效率，仅需一次线性求解。在涵盖六种方程类型（亥姆霍兹方程、波动方程、泊松方程、克莱因-戈登方程、热传导方程和对流扩散方程）的七个基准问题上的实验表明，在规则和复杂几何构型上，线性变体在七个案例中的六个中实现了最佳精度，比现有 PIELM 变体改进了一个到近五个数量级。本文附带的代码和数据将在 https://github.com/xgxgnpu/Physics-informed-vibe-coding/tree/main/FS-PIELM 公开提供。 关键词：物理信息机器学习；极限学习机；高频偏微分方程；谱偏差；亥姆霍兹方程；频移 ## 1. 引言 偏微分方程（PDE）的数值解法是计算科学与工程的基石之一。传统的基于网格的方法——有限元法、有限差分法和谱方法 [1, 2, 3]——经过数十年的发展已趋于成熟，但在处理复杂几何形状、高维问题 [4] 或需要从数据推断控制参数的反问题 [5] 时，可能变得不切实际。物理信息机器学习通过将物理约束直接嵌入神经网络训练中提供了一种替代方案 [6, 7, 8, 9, 10, 61]。物理信息神经网络（PINNs）[7] 通过训练神经网络在分散的配置点上满足控制方程和边界条件来近似 PDE 解。这种无网格的公式自然地处理不规则几何，并且可以纳入稀疏测量数据。PINNs 已成功应用于流体力学 [11, 12]、固体力学 [13] 和多物理场问题 [14]；最近的综述可参见 [10, 15, 59]。然而，标准 PINNs 的两个实际限制制约了其适用性：梯度下降训练可能成本高昂，即使对于中等复杂的问题也常常需要数小时 [16, 17]；此外，神经网络表现出*谱偏差*——一种系统地优先学习低频分量，而高频特征收敛慢得多的倾向 [18, 19, 20, 21, 65, 66]。谱偏差现象已在神经正切核（NTK）理论框架 [22] 下由 Wang 等人 [23] 进行了严格分析，他们证明了与高频特征函数相关的 NTK 特征值远小于与低频模式对应的特征值。这种特征值差距导致网络对高频分量的收敛速度呈指数级减慢，从而对于解表现出快速振荡或多尺度行为的 PDE 的逼近精度较差 [24]。已经提出了几种策略来缓解物理信息学习中的谱偏差 [25, 26, 62]。在这些补救措施中，傅里叶特征映射 [27, 28] 将输入坐标提升到高维正弦空间，使网络能够表示快速振荡，而 SIREN 网络 [29] 则通过周期激活函数实现类似效果。然而，这两类方法都引入了需要针对特定问题进行校准的频率尺度超参数，并且当解跨越宽光谱范围时可能失效。较新的补救措施追求自适应谱架构，包括具有特征频率多级初始化的分离变量谱网络（SV-SNN）[31]、分配不同频率尺度的分层自适应傅里叶特征编码 [30]，以及基于雅可比正交多项式基的物理信息 Kolmogorov–Arnold 网络 [32]。改进物理信息学习效率的另一种方法是用极限学习机（ELM）[33, 34, 63, 64] 替代深度神经网络。由 Dwivedi 和 Srinivasan [35] 开发的物理信息极限学习机（PIELM）利用了 ELM 架构，该架构由一个具有随机初始化和固定输入权重的单隐层组成 [36, 37, 38]，其中只有输出层权重通过最小二乘解解析确定。这种公式将训练过程从迭代梯度下降转变为单个矩阵求逆，将计算时间减少了几个数量级 [35]，同时对于光滑问题通常达到可比或更高的精度。PIELM 框架此后已扩展到尖锐梯度椭圆问题 [39]、双调和方程 [40]、非线性 PDE [41]、Stefan 问题 [42]、断裂力学 [43]、区域分解 [44, 57]、隐层拼接 [45] 和函数连接架构 [46, 47, 48]；全面综述见 [49]。相关的研究线索涉及 PDE 的随机特征方法，其中发展了逼近理论基础 [55]、高精度优化 [52] 以及在时间相关问题 [51]、多尺度问题 [56, 53, 58] 和复杂域 [54] 方面的扩展。尽管具有这些计算优势，传统的 PIELM 框架仍然受到谱偏差的影响。由于输入权重是从标准高斯分布中抽取的，得到的基函数将其谱能量集中在零频率附近，使得难以解析高度振荡的 PDE 解。为了解决这一限制，Ren 等人 [50] 最近提出了广义傅里叶特征 PIELM（GFF-PIELM），它采用余弦激活并将随机预激活乘以一个线性变化的频率缩放因子。这种乘法方法能够在保持 ELM 效率的同时表示更高的频率，但在目标频率和权重方差之间引入了固有的耦合，这限制了高波数下的精度，如我们在第 3.4 节中正式证明的那样。我们提出了一种频移物理信息极限学习机（FS-PIELM），通过一种根本不同的机制来解决谱偏差。与 GFF-PIELM 中将网络输入乘以缩放因子不同，我们平移隐层权重所来自的高斯分布的均值。每个神经元被分配一个单位球面上的随机方向和一个在神经元集合中线性变化的标量均值幅度，使得不同的神经元瞄准不同的频带。由于仅平移了均值而协方差矩阵保持为单位矩阵，有效频率的方差保持有界，与目标频率无关——这与基于缩放的方法中固有的二次方差增长形成对比。我们开发了两种变体：FS-PIELM-L（线性）为每个神经元分配独立的均值幅度以实现精细频率分辨率，而 FS-PIELM-G（分组）则将神经元划分为共享共同均值幅度的组以提高稳定性。总之，本工作的贡献有三方面。首先，我们提出了一种频移机制，通过权值采样分布的均值（而非输入缩放）来控制单隐层 ELM 的谱特性，并证明了所得频率方差保持有界，与目标频率无关。其次，我们开发了两种互补的变体——用于细粒度频率分辨率的 FS-PIELM-L 和用于改进鲁棒性的 FS-PIELM-G——并在涵盖椭圆、抛物和双曲 PDE 以及矩形和不规则几何的七个基准问题上进行了评估。第三，系统参数研究表明，FS-PIELM-L 在七个案例中的六个中取得了最佳精度，比 SIREN-PIELM 和 GFF-PIELM 改进了 1 到近 5 个数量级。本文的其余部分组织如下。第 2 节回顾了 PINN、谱偏差和 ELM 框架，包括现有的频率增强 PIELM 变体。第 3 节介绍了 FS-PIELM 框架：核心频移机制、两种架构变体和理论分析。第 4 节报告了七个基准上的数值实验及详细比较。第 5 节总结了发现并讨论了局限性和未来方向。 ## 2 背景与预备知识 本节回顾物理信息学习的数学框架以及启发我们工作的现有方法。我们首先阐述一般问题并介绍物理信息神经网络范式及其谱偏差限制，然后介绍构成我们方法基础的极限学习机框架。 ### 2.1 物理信息学习与谱偏差 考虑定义在有界区域 Ω ⊂ ℝ^d 上且具有边界 ∂Ω 的一般偏微分方程（PDE）： D[u(x)] = f(x), x ∈ Ω, (2.1) B[u(x)] = g(x), x ∈ ∂Ω, (2.2) 其中 u: Ω → ℝ 表示未知解，D 表示表征物理定律的微分算子，B 表示边界条件算子，f 和 g 分别是预设的源和边界数据函数。在本文中，我们采用以下记法：x = (x_1, ..., x_d)^T 表示空间坐标向量，除非另有说明，∥·∥ 表示欧几里得范数，N(μ, Σ) 表示均值为 μ、协方差为 Σ 的多变量高斯分布，U(a, b) 表示区间 [a, b] 上的均匀分布。由 Raissi 等人 [7] 提出的物理信息神经网络（PINNs）使用由权重和偏置 θ 参数化的深度神经网络 u_θ(x) 来逼近解 u(x)，优化一个复合损失函数，该函数惩罚控制方程和边界条件的违反： L(θ) = (1/N_C) ∑_{j=1}^{N_C} ∥D[u_θ(x_j^C)] - f(x_j^C)∥^2 + (λ/N_B) ∑_{k=1}^{N_B} ∥B[u_θ(x_k^B)] - g(x_k^B)∥^2，