基于空间相关性的物理信息神经网络课程学习

# 基于空间相关性的物理信息神经网络课程学习 来源：https://arxiv.org/html/2605.15254 \emails chenxj20@mails\.tsinghua\.edu\.cn\(X\. Chen\) Xinyue HuLetian ChenDaming Shi and Wenhui Fan 清华大学自动化系，北京 100084，中华人民共和国 ###### 摘要 物理信息神经网络（PINNs）将深度学习与物理约束相结合，用于求解偏微分方程（PDEs），在流体力学、热传导和固体力学等领域得到广泛应用。然而，PINN训练仍面临高维非凸损失景观、多目标约束不平衡以及信息传播效率低下的挑战。现有的课程学习与因果引导策略虽能提升训练稳定性，但主要关注时间或参数维度上的渐进推进，缺乏对空间信息传播与区域间一致性的显式处理。此外，这些方法无法直接适用于具有强空间耦合的边值问题（BVPs）。针对这一问题，我们提出了一种面向PINNs的空间相关课程学习框架。据我们所知，这是首个从子区域间空间耦合角度解决PINN训练困难的工作。首先，空间因果权重引导信息从近边界区域向内传播，减少优化失败与虚假收敛。其次，低频信息桥通过伪标签一致性约束空间分离区域，抑制全局低频漂移。第三，区域自适应重加权策略根据子区域损失调整权重，降低局部残差并恢复高频细节。在PDE基准测试上的实验表明，在相近计算成本下，所提方法缓解了训练失败并提高了解精度。代码见 https://github.com/pigofmomo/CurriculumLearningPINN。 ###### 关键词：物理信息神经网络（PINNs）；课程学习；偏微分方程（PDEs）；空间相关性。 \ams 35Q68, 68T07, 65M99, 65N99 ## 1 引言 自然界中许多物理系统的演化通常由偏微分方程（PDEs）描述。然而，在实际工程与科学计算中，PDEs常呈现强非线性、多尺度现象及复杂几何特征，使得高效精确求解这些方程成为模拟的核心挑战之一。传统数值方法（如有限差分、有限元、有限体积）求解PDEs时通常需要精细网格离散化和复杂预处理步骤[1 (https://arxiv.org/html/2605.15254#bib.bib1)]。在处理高维问题、进行实时预测或求解反问题时，传统方法往往面临严重的计算与存储瓶颈，导致效率低下。近年来，基于AI的PDE求解研究迅速发展[2 (https://arxiv.org/html/2605.15254#bib.bib2)]。物理信息神经网络（PINNs）[28 (https://arxiv.org/html/2605.15254#bib.bib3)]作为一种集成深度学习与物理约束的PDE求解方法，能够端到端地拟合解函数。该方法避免了显式网格生成等复杂过程，并具有同时处理正反问题、参数识别和科学发现的潜力[37 (https://arxiv.org/html/2605.15254#bib.bib4)]。因此，PINNs在流体力学、热传导、固体力学和电磁学等工程领域获得了广泛关注与应用[13 (https://arxiv.org/html/2605.15254#bib.bib5)]。PINNs的基本思想是利用神经网络作为连续函数的参数化表示。具体地，PINNs通常采用多层感知机（MLP）等架构作为骨干网络，将时空坐标和物理参数映射到状态变量。在训练阶段，PDE残差项被显式纳入损失函数，并通过自动微分计算解关于输入的偏导数，从而将微分算子约束转化为可优化的代价函数。随后，使用一阶或二阶优化器（如Adam、L-BFGS等）对网络权重进行梯度下降，使网络输出同时满足方程约束和初始/边界条件。尽管该框架简洁，但其训练过程常面临显著困难[20 (https://arxiv.org/html/2605.15254#bib.bib7),29 (https://arxiv.org/html/2605.15254#bib.bib6),33 (https://arxiv.org/html/2605.15254#bib.bib8)]：在缺乏足够监督数据的情况下，PDE算子往往主导域内解的优化方向。PDE算子项通常表现出“刚性”特征，如强非线性、多尺度变化和潜在不稳定性，导致损失函数收敛缓慢。同时，PDE残差、边界/初值约束以及可能的数据项之间可能产生冲突，使PINN训练本质上成为多目标优化问题，进一步加剧优化困难。此外，整体损失景观高度非凸，使得模型容易陷入较差的局部极小值或平缓区域，导致误差长期无法收敛。为了解决上述训练失败问题，近年来提出了多种改进策略，其核心目标是降低优化难度，提高PINN求解的效率与精度。其中一种策略是课程学习[34 (https://arxiv.org/html/2605.15254#bib.bib9)]，先让模型在相对简单的任务上训练，如光滑解、弱非线性或局部区域，然后通过引入高频分量、更强的对流/反应效应、更复杂的边界条件或更密集的采样，逐步增加难度。这种渐进训练过程提供了更清晰的优化路径，减少了收敛到不良局部极小值的可能性。另一种重要方法是因果引导训练[32 (https://arxiv.org/html/2605.15254#bib.bib10)]：对于具有显式时间因果性的PDE（如信息随时间传播的瞬态问题），在时间维度上施加顺序约束或分阶段推进，使模型优先拟合较早时间步的解，再逐步扩展到较晚时间步，避免因违反因果性导致的“错误传播”。此外，现有研究从多个角度改进了PINNs。权重调整动态平衡不同损失项以缓解多目标冲突[33 (https://arxiv.org/html/2605.15254#bib.bib8)]，自适应采样在残差高的区域细化配置点以更好地捕捉局部细节[8 (https://arxiv.org/html/2605.15254#bib.bib11)]，改进的优化器和训练策略增强了优化稳定性和收敛性[22 (https://arxiv.org/html/2605.15254#bib.bib12)]。结构先验进一步加强了多尺度特征的表示[18 (https://arxiv.org/html/2605.15254#bib.bib13)]。此外，区域分解将复杂PDE拆解为局部子问题进行协作学习[10 (https://arxiv.org/html/2605.15254#bib.bib14)]；相关工作还结合时间分解与数值求解器加速子域收敛[24 (https://arxiv.org/html/2605.15254#bib.bib15)]，引入有限体积风格的局部守恒残差以提升精细尺度精度[36 (https://arxiv.org/html/2605.15254#bib.bib16)]，并引入额外相关项或惩罚项以更好地协调竞争目标[5 (https://arxiv.org/html/2605.15254#bib.bib17)]。然而，现有的PINN改进策略，包括课程学习和因果引导训练，仍然存在显著局限性。首先，时间因果引导方法依赖于沿时间维度的单向传播结构。而对于许多耦合的PDE边值问题（BVPs），并不存在这种单向因果性；相反，解主要受空间耦合和边界约束支配。因此，基于时间步进的因果训练范式无法直接适用。其次，现有的课程学习方法通常根据任务难度组织训练，例如从低频到高频、从粗到细、或从局部到全局。但它们通常没有显式考虑解的空间异质性、区域间依赖性或跨域信息传播路径。因此，在强耦合空间设定下，仍可能产生局部收敛但全局不一致的解。为克服这些局限，本文提出了一种面向PINNs的空间相关课程框架，通过显式考虑空间信息传播和区域间一致性来指导训练过程。具体而言： - • 我们提出了一种空间相关课程学习框架，利用空间因果权重引导解信息从近边界区域向内传播，促进有效的空间信息传播，同时抑制错误传播。 - • 我们设计了一种信息桥机制，以增强相互耦合或长程相关区域之间的通信，鼓励中间区域形成一致的解模式，减少跨区域低频漂移。 - • 我们引入了一种基于区域PDE残差和梯度贡献的区域自适应重加权策略，以降低局部残差并改善高频细节的恢复。大量实验表明，所提框架改进了全局一致性和局部细节恢复，为在强耦合空间PDE问题上训练PINNs提供了一个有效的新视角。 ## 2 相关工作 ### 2.1 信息传播假设 除了非凸损失景观和损失项不平衡外，越来越多的研究工作通过*信息传播假设*来解释PINN训练：正确的解必须有效地将初始/边界条件的约束信息传递到域内，以形成全局一致的场，但即使总体损失下降，这种传递也可能失败。Penwarden等人系统分析了这一现象，并将传播失败归纳为三种典型模式：*零解*，即大片内部区域坍缩到近乎平凡状态而边界信息未被注入；*无传播*，即约束不充分或采样不足导致边界信息无法到达内部；*错误传播*，即局部结构、强耦合或多尺度刚性阻止了传输并导致子区域中出现错误的解形式，最终破坏全局一致性。[27 (https://arxiv.org/html/2605.15254#bib.bib18)] 基于这一观点，Daw等人表明传播失败可能表现为内部残差障碍，可通过高度不平衡的残差分布（如偏度和峰度）进行诊断，并提出了一种3R（保留–重采样–释放）策略来缓解该问题。[8 (https://arxiv.org/html/2605.15254#bib.bib11)] 相关地，Wang等人将时域外推视为序列信息传播，并引入门控参数空间校正项，将预训练解从短间隔扩展到更长的间隔。[35 (https://arxiv.org/html/2605.15254#bib.bib19)] ### 2.2 课程学习 课程学习让PINN从易到难训练，先拟合简单结构，再逐步处理更复杂结构，从而稳定早期优化并减少陷入不良局部极小值。一些研究分析了失败机制，表明PINN易受信息传播受阻和多目标冲突影响，从而推动课程或渐进训练以改善收敛稳定性[20 (https://arxiv.org/html/2605.15254#bib.bib7)]。在具体设计上，有工作从空间子域角度构建课程：将域划分为子区域，分组PDE损失，并基于残差大小自适应重加权，以减轻同时全局优化的难度[3 (https://arxiv.org/html/2605.15254#bib.bib20)]。另一些工作采用先约束后细化的策略：先用部分边界条件或较容易的PDE约束初始化网络，然后逐步引入更严格的约束来细化解[19 (https://arxiv.org/html/2605.15254#bib.bib21)]。课程也可以基于数据或采样分辨率设计（例如在多密度点集之间切换以学习低频和高频分量）[31 (https://arxiv.org/html/2605.15254#bib.bib22)]，或沿参数维度通过自适应步长控制逐步增加参数复杂度[11 (https://arxiv.org/html/2605.15254#bib.bib23)]。最后，动态采样策略逐步扩大采样分布以改善全局覆盖并促进信息传播[26 (https://arxiv.org/html/2605.15254#bib.bib24)]。文献中已对课程学习、因果引导训练和基于傅里叶特征的方法进行了系统比较与分析[25 (https://arxiv.org/html/2605.15254#bib.bib25)]。 ### 2.3 因果引导训练 对于具有显式时间因果结构的瞬态PDE，因果引导方法采用“从早到晚”的逐步训练，将全局问题转化为时间切片/窗口上的一系列子问题，从而避免因违反因果性导致的错误传播。PT-PINN在短窗口上进行时间局部预训练，然后通过参数延续和伪监督扩展到整个时域[16 (https://arxiv.org/html/2605.15254#bib.bib31)]。TsoNN通过连续时间区间上的时间步进来缓解病态问题[6 (https://arxiv.org/html/2605.15254#bib.bib32)]。Mattey等人逐步扩大时间窗口，在先前训练过的区域生成伪标签，并使用迁移学习使模型适应新增区间[23 (https://arxiv.org/html/2605.15254#bib.bib26)]。Penwarden等人对因果引导范式提供了统一视角，并提出了一个集成框架以提高稳定性和适用性[27 (https://arxiv.org/html/2605.15254#bib.bib18)]。相关策略还通过基于PDE损失和权重分布将子区域分类为已训练/正在训练/待训练来组织训练[21 (https://arxiv.org/html/2605.15254#bib.bib27)]。对于长时间积分，探索了双网络或隐式传播思想以及滑动窗口延续以增强稳定性[15 (https://arxiv.org/html/2605.15254#bib.bib28),17 (https://arxiv.org/html/2605.15254#bib.bib29)]。在刚性或奇异扰动情况下，提高初始约束的准确性并应用时间依赖重加权（例如由累积误差驱动的负指数权重）有助于抑制误差增长[4 (https://arxiv.org/html/2605.15254#bib.bib30)]。