通过图超网络分摊物理信息神经求解器

# 通过图超网络实现物理信息神经求解器的摊销
来源：https://arxiv.org/html/2609.19915
程静††感谢：在Applied Materials Inc.实习期间完成的工作
Abhishek Verma
所属：Applied Materials Inc.
邮箱：[[email protected]](mailto:)
Kallol Bera
所属：Applied Materials Inc.
邮箱：[[email protected]](mailto:)
何一萱
所属：亚利桑那州立大学
邮箱：[[email protected]](mailto:)
李国振††感谢：通讯作者。
所属：亚利桑那州立大学
邮箱：[[email protected]](mailto:)

###### 摘要
在相关的偏微分方程族之间摊销物理信息神经网络（PINNs），需要将每个方程描述为一个可复用的求解器。系数向量将数值参数编码在预定义的槽位中，使得算子和跨场赋值变得隐式。我们在一个算子图中将这些关系显式化，其中节点代表场、导数、项和残差，而系数作为项的属性保留。图超网络生成对角码，用于初始化一个针对每个目标方程进行元训练的分解式PINN。元训练和针对特定目标的适应过程使用控制方程和规定的条件，无需解标签。我们在固定的适应预算内，比较了基于系数向量、基于DeepSets的项集以及图条件化的解精度。在标量对流-扩散-反应问题中，两种基于项的描述符都提高了高反应精度，且性能相似。在两场Fisher-KPP问题中，元训练阶段处理了非耦合和单向系统；在未见过的双向耦合上进行3,000步适应后，图模型的平均最终误差比项集低35.7%，比系数向量低67.7%。在固定结构的电容耦合等离子体模型中，系数向量表现最佳。这些结果支持扩展系数条件化，通过显式方程关系实现基于物理的求解器适应。

## 1 引言
科学建模通常需要求解一族相关的偏微分方程（PDE），而不仅仅是单一方程。物理信息神经网络（PINNs）通过优化控制残差和规定条件来构建解（Raissi 等, 2019 (https://arxiv.org/html/2609.19915#bib.bib1)），但对每个实例重复此优化可能成本高昂。基于超网络的摊销通过预测特定于方程的求解器配置来共享实例间的信息，这些配置可以进一步使用物理残差进行适应（de Avila Belbute-Peres 等, 2021 (https://arxiv.org/html/2609.19915#bib.bib2); Cho 等, 2023 (https://arxiv.org/html/2609.19915#bib.bib3)）。这就提出了一个表示问题：*超网络应该接收到关于方程的什么信息？*

系数条件化的超网络通过预定义方程布局中的数值参数来描述每个实例。此类布局可以通过为候选项保留特定于方程的槽位来覆盖不同的项组合和耦合方向。我们关注的是这些关系如何呈现给超网络：是通过槽位约定隐式地，还是通过连接显式地。

耦合PDE使得这一区别变得具体。相互作用的强度及其连接的变量都是方程含义的一部分：在方程u中的源项κv和在方程v中的源项κu描述了相反的耦合方向，即使κ保持不变。这促使我们向超网络提供微分算子及其数值系数，以及跨场关系。

我们将此信息表示为一个*算子图*：场、导数、加性项和方程残差是节点，它们的连接指定了PDE如何组装。系数保留作为项的属性，而连接性使得算子组合和耦合关系变得显式。图超网络读取此表示，并预测一个共享分解式PINN骨干网络（Cho 等, 2023 (https://arxiv.org/html/2609.19915#bib.bib3)）的每层配置码。预测的码和元训练的骨干网络形成一个方程条件化的初始化。然后，通过最小化目标求解器的物理残差并强制执行其规定条件来适应目标求解器。这在共享的算子词汇表中结合了系数和连接性；两个训练阶段都使用物理目标，无需解标签。

我们在三个PDE族上评估了这种方法，每个族具有一维空间和独立训练的模型。跨结构的对流-扩散-反应（cdr）测试了熟悉项的组合，包括一个已知存在PINN优化失败模式（Krishnapriyan 等, 2021 (https://arxiv.org/html/2609.19915#bib.bib4)）的高反应机制。我们的两场Fisher-KPP变体建立在线性耦合的反应-扩散系统（Holzer, 2016 (https://arxiv.org/html/2609.19915#bib.bib5)）之上，测试了从非耦合和单向耦合系统到以前未见过的双向耦合的泛化能力。一个简化的电容耦合等离子体（CCP）模型（Jing 等, 2026a (https://arxiv.org/html/2609.19915#bib.bib6)）测试了应用于连续性-泊松系统的情况，其耦合结构保持固定而系数变化。与基于系数向量和基于DeepSets的项集（Zaheer 等, 2017 (https://arxiv.org/html/2609.19915#bib.bib7)）基线的比较表明，在cdr的高反应机制中，基于项的条件化带来了好处，并且在未见过的Fisher-KPP耦合上，图模型误差最低。系数向量在固定结构的CCP中表现最佳。这种对比与假设一致，即关系条件化的价值取决于方程族内什么在变化，而不仅仅是耦合本身。

我们的贡献是：
- •用于摊销PINNs的算子图条件化（§3 (https://arxiv.org/html/2609.19915#S3)）。图超网络从一个结合了数值系数、微分算子和跨场关系的表示来配置共享的神经求解器。
- •跨项和耦合变化的证据（§5 (https://arxiv.org/html/2609.19915#S5)）。在固定的目标适应预算下，基于项的条件化提高了高反应cdr的精度，而图条件化在未见过的Fisher-KPP耦合组合上给出了最低的平均误差。一个固定结构的连续性-泊松比较确定了系数条件化表现最佳的场景。

## 2 背景
我们回顾PINN求解器、其分解式骨干网络，以及用于配置它的超网络和消息传递。

##### 物理信息神经网络。令u(x,t)表示PDE的解，u_θ(x,t)为其神经近似，其中θ为求解器参数。对于耦合系统，u收集场u_f，R收集它们的方程残差；在架构公式中省略了参数下标。给定R[u]=0，物理信息训练最小化1/|X| Σ_{(x,t)∈X} ||R[u_θ](x,t)||_2^2，其中X是时空配置点集，并结合初始条件和边界条件（Raissi 等, 2019 (https://arxiv.org/html/2609.19915#bib.bib1)）。这些条件通过损失惩罚或直接在网络输出中施加。导数通过自动微分计算。跨PDE实例的重复优化促进了摊销的动机，特别是当物理损失难以优化时（Krishnapriyan 等, 2021 (https://arxiv.org/html/2609.19915#bib.bib4)）。

##### 分解式PINN骨干网络。我们采用 Cho 等 (2023) (https://arxiv.org/html/2609.19915#bib.bib3) 为每个场提出的层参数化。对于场f和隐藏层ℓ，配置的权重为W_f^ℓ = C^ℓ diag(s_f^ℓ) R^ℓ，其中C^ℓ, R^ℓ ∈ R^{w×w}是共享的学习基底，w是隐藏宽度。码s_f^ℓ ∈ R^w指定该实例和场的有效对角项。利用这些全宽基底，超网络通过w个对角条目配置每一层，而不是预测所有w^2个矩阵条目。共享基底在PDE族上学习；码是特定于实例的。

##### 超网络。超网络H预测另一个神经网络的参数（Ha 等, 2017 (https://arxiv.org/html/2609.19915#bib.bib8)）。在Hyper-LR-PINN中，PDE系数条件化分解式求解器的对角码（Cho 等, 2023 (https://arxiv.org/html/2609.19915#bib.bib3)）。我们保留了这个码接口s = H(d)，其中s = {s_f^ℓ}，并比较系数向量、项集和算子图作为描述符d。预测的码配置共享的PINN，提供初始近似，随后使用物理目标进行适应。这在实例间共享了学习有用求解器配置的成本；训练和部署阶段在§3 (https://arxiv.org/html/2609.19915#S3)中描述。

##### 消息传递。在一个图G=(V,E)上，节点i∈V在第k轮具有隐藏状态h_i^k。消息传递更新结合该状态与其邻居的状态，使用共享的学习函数（Gilmer 等, 2017 (https://arxiv.org/html/2609.19915#bib.bib9)）。经过K轮后，信息可以传播到K跳邻域。读出函数将节点状态汇聚成图级或场特定的表示。第3节 (https://arxiv.org/html/2609.19915#S3) 指定了此表示如何配置PINN。

## 3 方法
我们学习一个用于基于物理适应的方程条件化初始化。超网络读取PDE的算子图并预测对角码；这些码和元训练的骨干网络初始化目标PINN。然后，我们使用目标物理目标优化其码和骨干网络。适应之前的预测是*初始近似*。我们下面描述图、配置的求解器和优化阶段。

### 3.1 算子图
为了条件化，我们将每个控制残差表示为加性项，每个项由一个标量系数及其场或导数因子表示。这些项定义了算子图G=(V,E)。物理损失通过自动微分评估相同的控制方程；图构建和损失评估可以使用代数等价的残差形式（附录A (https://arxiv.org/html/2609.19915#A1)）。图有四种节点类型：场、导数、项和方程残差。连接将场链接到其导数，每个因子链接到包含它的项，每个项链接到其目标残差（附录A (https://arxiv.org/html/2609.19915#A1)）。节点特征z_i记录节点类型及其属性：场标识（在适用时）和导数阶数，以及每个非零项的系数符号、对数幅度和元数（因子数量）。例如，u方程中的-κv给出路径v → (-κv) → R_u：连接标识了源场和目标方程，而项节点保留了耦合系数。场标识和不同的场/残差节点类型在消息传递使用对称化连接时也保留了这些源和目标角色。更改项或其赋值会在此共享词汇表上更改图。因此，系数和连接性描述了同一方程的互补部分。

### 3.2 图超网络和PINN
超网络H将节点特征嵌入为h_i^0 = φ(z_i)，聚合邻居状态，并解码每个场的配置码。Fisher-KPP实现使用h_i^{k+1} = h_i^k + σ(W_{self} h_i^k + W_{neigh} Σ_{j∈V} â_{ij} h_j^k)，其中σ是GELU，W_{self}, W_{neigh}跨节点和轮次共享。权重â_{ij}来自对称化图连接、添加自环和归一化每行。所有边使用一个邻居矩阵；系数符号通过节点特征进入。经过K轮（在主比较中K=2）后，对于具有节点i_f的场f的读出函数预测L个分解层的码：
r_f = ρ([h_{i_f}^K; h̄]), s_f^ℓ = ReLU(A^ℓ r_f + b^ℓ) ∈ R^w (ℓ=1,...,L), (1)
其中φ是学习到的节点嵌入，ρ是学习到的读出网络，[;]表示连接，h̄是最终项和场状态的平均值。学习到的A^ℓ, b^ℓ解码层ℓ。特定族的聚合和读出设置在附录A.2 (https://arxiv.org/html/2609.19915#A1.SS2)中给出。附录C.4 (https://arxiv.org/html/2609.19915#A3.SS4)变化了传播深度，并且训练和测试深度匹配。码通过W_f^ℓ = C^ℓ diag(s_f^ℓ) R^ℓ配置场f的MLP g_f（§2 (https://arxiv.org/html/2609.19915#S2)）：H预测对角码而不是完整的权重矩阵。具有固定的坐标编码γ和输出变换A_f，预测为u_f(x,t) = A_f(g_f(γ(x,t)), x, t)。Fisher-KPP使用周期性空间特征和硬初始条件变换；CCP使用RF周期性特征和硬空间边界值。对于cdr，A_f是恒等映射，初始和边界条件作为损失惩罚进入。这些特定族的构造在附录B.2 (https://arxiv.org/html/2609.19915#A2.SS2)、附录B.4 (https://arxiv.org/html/2609.19915#A2.SS4)和附录B.3 (https://arxiv.org/html/2609.19915#A2.SS3)中详述。

### 3.3 训练与部署
##### 元训练。我们采样PDE实例和配置点，并联合优化超网络、共享基底C^ℓ, R^ℓ以及骨干网络的剩余参数，包括其输入和输出层。梯度通过预测的码和配置的PINN传递。目标结合了平方方程残差和任何软初始/边界惩罚；硬约束通过上面的坐标和输出变换进入。每个元步骤对声明的训练结构取损失平均值，然后添加一次基底惩罚（附录A.4 (https://arxiv.org/html/2609.19915#A1.SS4)）。此优化中没有解标签进入。

##### 系数采样。采样器决定了哪些数值实例呈现给摊销器；描述符决定了它们如何表示。高反应cdr使用围绕系数网格节点的有界扰动，半径逐渐扩大以覆盖系数框（附录B.2.2 (https://arxiv.org/html/2609.19915#A2.SS2.SSS2)）。该调度在描述符间共享。附录D (https://arxiv.org/html/2609.19915#A4)固定了七个训练结构、目标和预算，并将此调度与从一开始就使用全半径扰动和仅网格采样进行了比较。

##### 部署。对于每个目标实例，我们计算s = H(G)一次并初始化...