EvoPINN：面向物理信息神经网络的智能体式可执行算法发现

# EvoPINN：面向物理信息神经网络的智能体可执行算法发现
来源：https://arxiv.org/html/2607.26490

彭寅  
中国科学院大学前沿交叉科学学院，北京，中国  
中国科学院自动化研究所，北京，中国  
张一帆  
中国科学院自动化研究所，北京，中国  
程健  
中国科学院自动化研究所，北京，中国  

###### 摘要  
物理信息神经网络（PINNs）已成为求解偏微分方程（PDEs）的强大范式，然而其性能高度依赖于对神经表示、损失函数构造和优化动态的手动试错式工程。虽然大语言模型（LLMs）为自动化设计提供了有前景的途径，但在严格的科学计算约束下，无约束的代码生成往往会产生数学上无效或数值上不稳定的解。为弥合这一差距，我们提出EvoPINN，一个智能体框架，将PINN开发从劳动密集型的手动设计转化为一个严谨的、基于执行验证的算法发现问题。EvoPINN通过将神经表示与训练程序解耦来导航模块化搜索空间，利用LLM智能体迭代地提出受记忆约束的程序化修改。为确保科学有效性，所有候选方案都经过严格的结构验证和预算匹配的PDE评估。在多种PDE场景（振荡型、椭圆型、耗散型和非线性输运）中的大量实验表明，EvoPINN发现了PDE特化的学习算法，与基线相比显著降低了相对\(L_{2}\)误差。至关重要的是，EvoPINN自主发明了SLRC-PINN，这是一种新型架构，其性能优势在严格的参数匹配比较下仍然持续存在，从而验证了基于执行验证的智能体在发现真正新颖的科学计算机制方面的可行性。

## 1 引言  
物理信息神经网络（PINNs）通过将物理定律融入神经网络训练，提供了一种灵活、无网格的偏微分方程（PDEs）求解框架Raissi等（2019 (https://arxiv.org/html/2607.26490#bib.bib1)）；Lu等（2021 (https://arxiv.org/html/2607.26490#bib.bib2)）。尽管其概念优雅，但它们的性能强烈依赖于针对特定PDE的坐标表示、网络架构、损失函数构造、配点采样和优化算法等选择。不同的PDE场景往往偏好不同的机制：振荡型解受益于频率感知表示，而非线性输运问题则需要稳定的优化和在陡峭梯度附近增强的分辨率。因此，使PINNs适应这些不同的物理行为需要结构和程序性的干预，这使其成为一个劳动密集型的算法设计问题，且没有单一设计能在不同PDE间普遍占优Wang等（2021a (https://arxiv.org/html/2607.26490#bib.bib4)、2022 (https://arxiv.org/html/2607.26490#bib.bib5)）；Hao等（2024 (https://arxiv.org/html/2607.26490#bib.bib3)）。

现有的自动化PINN方法主要侧重于在人工指定的搜索空间内调优超参数或组装预定义组件Wang等（2023 (https://arxiv.org/html/2607.26490#bib.bib37)）；Wang和Zhong（2024 (https://arxiv.org/html/2607.26490#bib.bib38)）；Zhang和Yang（2024 (https://arxiv.org/html/2607.26490#bib.bib39)）。最近，基于大语言模型（LLM）的系统（例如，PINNsAgent Wu等（2025 (https://arxiv.org/html/2607.26490#bib.bib30)）、Lang-PINN He等（2025 (https://arxiv.org/html/2607.26490#bib.bib31)））通过自然语言推理和实验反馈自动化PINN流水线构建和配置选择，进一步推进了这一前沿。虽然这些方法大幅减少了人工投入，但其探索从根本上仍受限于人工指定的模板和有界的设计空间。它们善于在已知备选方案中识别最优配置，但不能轻易修改共同定义PINN学习算法的神经表示和训练逻辑。因此，更宏大的目标——发现真正新颖的、可执行的学习机制——在PINN领域仍基本未被探索。此外，在科学计算中直接利用LLM进行开放式算法生成面临一个关键挑战：在PDE的严格物理和计算约束下，无约束的LLM经常生成数学上无效、结构冗余或数值不稳定的代码。

为弥合这一差距，我们提出EvoPINN，一个基于执行验证的智能体框架，用于自动发现完整的PINN学习算法。为了驯服开放式LLM生成的不稳定性，并解决进化过程中的信用分配问题，EvoPINN采用模块化设计，将神经表示模块与物理信息训练程序解耦。LLM智能体一次只对一个模块进行迭代式、记忆引导的程序化修改提议。至关重要的是，EvoPINN通过将所有提议提交给严格的验证流水线——包括结构验证、可执行测试和预算匹配的PDE评估——来确保科学有效性，只有在候选方案展现出结构新颖性并降低解误差时才更新算法。这种受控的搜索过程使EvoPINN能够探索超出预定义PINN配置库的表示和训练机制。

我们在振荡型、椭圆型、耗散型和非线性输运PDE场景下评估EvoPINN。所发现的算法在多个问题上持续优于基线PINN，并达到与强专家设计方法相当或更好的性能。此外，我们的评估证实了所发现机制的鲁棒性，展示了其对未见方程参数的适用性。最值得注意的是，EvoPINN针对Burgers1D发现了SLRC-PINN——一种全局-局部架构，其中自适应局部基库门控一个零初始化的修正分支。据我们所知，这种特定拓扑尚未被报道，并且其优势在与其他相关PINN架构的参数匹配比较下仍然存在。这些结果共同表明，基于执行验证的智能体可以将自动化PINN设计从超参数调优推进到发现新颖、有效且可重用的学习机制。

参见图注  
图1：EvoPINN概述。一个PINN算法表示为\(A=(M,T)\)，其中\(M\)定义神经表示，\(T\)定义训练程序。在每一代中，EvoPINN选择一个模块进行修改，使用当前训练行为和早期尝试来引导LLM，并且仅当生成的程序在共享训练预算下运行成功且降低解误差时，才更新当前算法。

## 2 相关工作

### 2.1 PINN中的手动机制设计
大量工作通过手动设计的表示拓扑和训练算法来改进物理信息神经网络（PINNs）。表示导向的方法引入自适应激活函数Jagtap等（2020 (https://arxiv.org/html/2607.26490#bib.bib9)）、面向高频或多尺度动态的频率感知特征编码Sitzmann等（2020 (https://arxiv.org/html/2607.26490#bib.bib12)）；Wang等（2021b (https://arxiv.org/html/2607.26490#bib.bib11)）、空间特征嵌入Tancik等（2020 (https://arxiv.org/html/2607.26490#bib.bib40)）以及区域分解架构Jagtap和Karniadakis（2020 (https://arxiv.org/html/2607.26490#bib.bib14)）；Moseley等（2023 (https://arxiv.org/html/2607.26490#bib.bib15)）。训练导向的方法则聚焦于自适应配点采样策略Daw等（2022 (https://arxiv.org/html/2607.26490#bib.bib41)）；Wu等（2023 (https://arxiv.org/html/2607.26490#bib.bib6)）、残差目标修正Yu等（2022 (https://arxiv.org/html/2607.26490#bib.bib8)）、动态损失平衡Wang等（2021a (https://arxiv.org/html/2607.26490#bib.bib4)、2022 (https://arxiv.org/html/2607.26490#bib.bib5)）以及多阶段或课程优化方案Krishnapriyan等（2021 (https://arxiv.org/html/2607.26490#bib.bib42)）；Yao等（2023 (https://arxiv.org/html/2607.26490#bib.bib7)）。综合基准评估表明，没有任何单一的手动设计PINN变体能在不同物理场景中普遍占优Hao等（2024 (https://arxiv.org/html/2607.26490#bib.bib3)）。因此，使PINNs适应特定物理行为仍然是一个艰巨的试错工程过程，这凸显了从手工机制转向自动化算法发现的迫切必要性。

### 2.2 自动化与智能体式PINN设计
早期的自动化PINN设计方法侧重于在预定义的、高度受限的搜索空间内优化离散的结构或数值选择。Auto-PINN对网络深度、宽度和优化器配置进行分阶段超参数搜索Wang等（2023 (https://arxiv.org/html/2607.26490#bib.bib37)），而NAS-PINN利用可微架构搜索来选择最优连接模式Wang和Zhong（2024 (https://arxiv.org/html/2607.26490#bib.bib38)）。在标准NAS之外，经典进化计算方法（如DPSTE Zhang和Yang（2024 (https://arxiv.org/html/2607.26490#bib.bib39)））通过动态种群调度来探索网络结构以及基于树的参数化激活函数。最近，LLM驱动的智能体框架将自动化扩展到工作流和流水线构建：PINNsAgent利用经验执行反馈来导航架构和超参数配置Wu等（2025 (https://arxiv.org/html/2607.26490#bib.bib30)），而Lang-PINN直接从自然语言PDE规范生成可执行代码流水线He等（2025 (https://arxiv.org/html/2607.26490#bib.bib31)）。然而，这些方法仍然局限于在预先设计的模板中选择配置、调优超参数或组合工作流。EvoPINN则能实现新型PINN学习机制的开放式发现。

### 2.3 LLM引导的求解器与算法发现
LLM越来越多地被用于生成和完善科学程序。在PDE领域，CodePDE和PDE-SHARP通过推理或执行反馈来合成求解器实现，但关注的是通用PDE求解器而非PINN特化的学习算法Li等（2025 (https://arxiv.org/html/2607.26490#bib.bib32)）；Fazliani和Udell（2025 (https://arxiv.org/html/2607.26490#bib.bib33)）。在PDE求解之外，LLM引导的可执行搜索已应用于数学程序、组合启发式、奖励函数和优化算法Romera-Paredes等（2024 (https://arxiv.org/html/2607.26490#bib.bib26)）；Liu等（2024 (https://arxiv.org/html/2607.26490#bib.bib27)）；Ma等（2024 (https://arxiv.org/html/2607.26490#bib.bib24)）；Ye等（2024 (https://arxiv.org/html/2607.26490#bib.bib28)）。这些方法通常在固定算法脚手架内演化一个有界组件，例如启发式、奖励或更新函数。EvoPINN打破了这一限制，将搜索对象提升到完整的PINN学习算法，这更具挑战性。

## 3 PINN预备知识
考虑一个定义在时空域\(\Omega\)上的PDE实例\(\mathcal{P}\)，由微分算子\(\mathcal{F}[u]=0\)以及边界和初始约束\(\mathcal{B}[u]=0\)和\(\mathcal{I}[u]=0\)控制。一个PINN使用由\(\theta\)参数化的可微神经网络\(u_{\theta}\)来逼近解，并通过最小化一个复合物理信息损失来训练：
\[
\mathcal{L}_{\mathrm{PINN}}(\theta)=\lambda_{r}\mathcal{L}_{r}(\theta)+\lambda_{b}\mathcal{L}_{b}(\theta)+\lambda_{i}\mathcal{L}_{i}(\theta),
\]
(1)
其中\(\mathcal{L}_{r}\)、\(\mathcal{L}_{b}\)和\(\mathcal{L}_{i}\)分别表示PDE残差损失、边界条件损失和初始条件损失，并分别由相应的权重\(\lambda_{r}\)、\(\lambda_{b}\)和\(\lambda_{i}\)平衡。在标准实践中，\(u_{\theta}\)的架构形式和用于优化该目标的过程都是预先严格指定的。正是这两个静态组件——神经表示和优化动态——我们的框架旨在自主发现。关于PINN的更多数学细节见附录A。

## 4 方法

### 4.1 概述
EvoPINN将PINN开发的范式从手动设计转变为可执行算法发现。我们形式上将PINN算法定义为一个元组：
\[
A=(M,T)\in\mathcal{A}=\mathcal{M}\times\mathcal{T},
\]
(2)
其中\(M\)涵盖解的神经表示，而\(T\)控制用于在物理约束下训练该程序的程序。\(M\)和\(T\)共同构成一个开放式算法搜索空间\(\mathcal{A}\)。对于目标PDE\(\mathcal{P}\)、训练预算\(B\)和随机种子\(\xi\)，执行算法\(A\)将产生优化后的参数：
\[
\theta_{A}(\mathcal{P},B,\xi)=\operatorname{Train}(A;\mathcal{P},B,\xi).
\]
(3)
候选算法的有效性随后通过其相对于搜索参考集\(\mathcal{X}_{\mathrm{search}}\)上的参考解\(u^{*}\)的相对\(L_{2}\)误差来量化：
\[
\small S_{\mathrm{search}}(A;\mathcal{P},B,\xi)=\frac{\left\|u_{\theta_{A}(\mathcal{P},B,\xi)}(\mathcal{X}_{\mathrm{search}})-u^{*}(\mathcal{X}_{\mathrm{search}})\right\|_{2}}{\left\|u^{*}(\mathcal{X}_{\mathrm{search}})\right\|_{2}}.
\]
(4)
为简洁起见，当PDE、预算和随机种子明确时，我们将此得分记为\(S_{\mathrm{search}}(A)\)。如图1 (https://arxiv.org/html/2607.26490#S1.F1)所示，EvoPINN通过一个LLM引导的进化循环运行。该框架以种子PINN初始化，并在\(G\)代中迭代式地精化它。在每一代\(g\)中，LLM智能体生成\(K\)个程序化修改，在共享预算下评估这些候选方案，并利用执行反馈驱动算法生成和精化的持续循环。利用LLM进行进化搜索近来在许多问题中展现出潜力Liu等（2024 (https://arxiv.org/html/2607.26490#bib.bib27)）；Romera-Paredes等（2024 (https://arxiv.org/html/2607.26490#bib.bib26)）。为了在不以复杂元启发式混淆性能收益的情况下验证LLM驱动的PINN算法发现的可行性，我们特意采用上述简单直接的进化循环。然而，在涵盖神经表示和优化动态的开放式空间中导航，引入了前所未有的复杂性。EvoPINN的创新之处在于专门的机制设计，使得在这个广阔且受物理约束的算法空间中进行搜索变得可行且科学有效。具体而言，实现这一开放式搜索面临三个基本挑战：

- • **联合空间中的信用分配：** 修改某