进化算法引导的LLMs用于物理信息神经网络设计

# 进化算法引导的大语言模型用于物理信息神经网络设计
来源：https://arxiv.org/html/2607.15560
许扬1† 于明阳2† 徐静2 李克骞1
1 华东师范大学上海智能教育研究院，上海 200062
2 南开大学人工智能学院，天津 300350
[email protected]; [email protected]
[email protected]; [email protected]
† 这些作者对本文贡献相同。

###### 摘要

物理信息神经网络（PINNs）对架构、激活函数、损失加权、配点、优化和约束执行的交互选择异常敏感。大语言模型（LLMs）可以提出这些选择，但独立的推荐无法积累先前训练过的PINNs的经验。我们提出一种闭环进化算法，引导LLM跨代生成完整、可执行的PINN配置，利用测量的训练结果来确定后续搜索决策。该算法维护一个已评估的种群和谱系，应用基于父代条件的变异和交叉，保留精英和多样化解，拒绝等效副本，并将父代相对的成功和失败转化为提供给LLM的下一代上下文。每个提出的配置在精确的优化器步预算下直接执行。在一维多尺度波动方程上，两个独立的十代运行训练了60个PINN，共600,000个优化器步。在两次运行中，最佳配置都出现在最后一代，相对于初始种群，最佳均方误差分别减少了2.97%和95.38%。表现更强的运行在后来的世代中验证了残差连接并增加了分支深度，将它们组合在一代中，然后调整了宽度和配点密度。它还揭示了小解误差可以与高PDE残差共存。这些结果证明了在受控PDE上进化算法引导的LLM用于PINN设计的可行性，同时激励更广泛的、物理感知的评估。

## 1 引言

物理信息神经网络将微分方程和物理约束嵌入到神经网络训练中，为正向和逆向科学问题提供了一条无网格路径（Raissi 等，2019 (https://arxiv.org/html/2607.15560#bib.bib1); Karniadakis 等，2021 (https://arxiv.org/html/2607.15560#bib.bib2)）。它们看似简单，却隐藏着一个困难的算法设计问题。网络深度和宽度、激活函数、损失权重、配点策略、优化器、学习率调度以及硬约束或软约束机制之间存在非线性交互。即使控制方程指定正确，糟糕的组合也可能导致梯度不平衡、谱偏差或优化失败（Wang 等，2021 (https://arxiv.org/html/2607.15560#bib.bib3); 2022 (https://arxiv.org/html/2607.15560#bib.bib4); Krishnapriyan 等，2021 (https://arxiv.org/html/2607.15560#bib.bib5)）。因此，选择PINN不仅仅是在独立坐标上调整超参数；它是在设计一个耦合的数值学习算法。

LLMs为这个设计问题提供了一个有前途的接口，因为它们可以推理结构化描述、科学先验知识和异构算法组件。最近的系统将LLMs用于优化（Yang 等，2024 (https://arxiv.org/html/2607.15560#bib.bib13)）、程序搜索（Romera-Paredes 等，2024 (https://arxiv.org/html/2607.15560#bib.bib14)）和PDE代理建模（Wuwu 等，2025 (https://arxiv.org/html/2607.15560#bib.bib11)）。我们的问题不在于LLM是否能一次命名一个好的PINN配置。而在于一个特制的进化架构能否利用数值结果来指导后续的LLM设计。在我们最初的开发实验中，第一个提案可能一直保持最佳，而后续的建议要么重复等效配置，要么引入不受支持的更改。缺失的成分是一个显式的搜索状态，它将数值存续、谱系、多样性和失败的假设作为下一步决策的一部分。

因此，我们引入了本文专门为PINN配置搜索开发的进化架构。它引导LLM设计完整的结构化*AlgorithmSpec*对象，每个对象声明性地指定网络、损失、采样器、优化器、调度和物理约束。我们的架构控制父代选择、谱系、精英存续、指纹去重、数值评估和跨代记忆。LLM作为一个条件设计算子，从架构组装的状态中提出变异和交叉。因此，优化是由所提出的架构执行的，而不是由一系列独立的LLM推荐执行的。

我们的贡献是：

- • 我们引入了一个PINN特定的进化架构，该架构在本文中提出，它引导LLM设计完整的结构化PINN算法，而不是充当一次性调谐器。
- • 我们将有效规范指纹识别、不同父代交叉、新颖性感知选择、精英与多样性更新以及成功/失败反思连接成一个可测量的跨代反馈回路。
- • 我们实现了直接且可审计的执行：LLM不生成可执行的Python代码，不受支持的组件会失败且不会静默替换，每个成功的PINN在精确的优化器-评估预算下进行训练。
- • 我们提供了一项谱系解析的Wave-C研究，其中两个独立的运行都比初始世代有所改进，较强的运行通过一系列可解释的进化变化实现了95.38%的MSE降低。
- • 我们确定了目标失配作为一种具体的失败模式：最低MSE模型具有明显更大的PDE残差，这激发了物理防护的多目标进化。

目前的证据是有意限制的。它在一个解析PDE上用两个独立随机种子演示了搜索机制；它并未建立跨方程的最先进PINN性能。

## 2 相关工作

#### 物理信息神经网络。

PINNs将控制律残差与边界、初始和观测损失相结合（Raissi 等，2019 (https://arxiv.org/html/2607.15560#bib.bib1)）。后续工作表明，训练质量强烈依赖于梯度平衡（Wang 等，2021 (https://arxiv.org/html/2607.15560#bib.bib3)）、神经切线核动力学（Wang 等，2022 (https://arxiv.org/html/2607.15560#bib.bib4)）、课程和正则化（Krishnapriyan 等，2021 (https://arxiv.org/html/2607.15560#bib.bib5)）、自适应采样（Wu 等，2023 (https://arxiv.org/html/2607.15560#bib.bib6)）以及精确约束构造（Lagaris 等，1998 (https://arxiv.org/html/2607.15560#bib.bib15); Sukumar and Srivastava, 2022 (https://arxiv.org/html/2607.15560#bib.bib8)）。诸如DeepXDE之类的库公开了其中的许多选择（Lu 等，2021 (https://arxiv.org/html/2607.15560#bib.bib7)），而PINNacle则表明没有单一的配置能主导所有PDE（Hao 等，2024 (https://arxiv.org/html/2607.15560#bib.bib10)）。我们的工作将这些耦合的选择视为一个开放的结构化算法设计空间。

#### 用于优化和算法发现的LLMs。

通过提示进行优化使用目标值来迭代改进自然语言候选方案（Yang 等，2024 (https://arxiv.org/html/2607.15560#bib.bib13)）。FunSearch将LLM程序生成与进化评估相结合（Romera-Paredes 等，2024 (https://arxiv.org/html/2607.15560#bib.bib14)），而EoH则用语言表示启发式思想并通过进化算子进行演化（Liu 等，2024 (https://arxiv.org/html/2607.15560#bib.bib12)）。这些研究为将LLM生成与评估搜索历史相结合提供了有用的先例。我们的方法并非EoH的直接实现。它引入了一个独立的、PINN特定的架构，该架构围绕结构化完整算法规范、直接数值执行、精确训练预算、物理诊断、谱系感知控制和有效配置去重而构建。

#### 用于科学机器学习的LLM代理。

PINNsAgent使用LLM代理和物理引导的知识回放来自动化PDE代理建模（Wuwu 等，2025 (https://arxiv.org/html/2607.15560#bib.bib11)）。我们的重点是互补的：我们研究一种基于种群的架构，该架构在训练过的PINN世代中指导LLM设计。我们保留运行内的记忆，但不在独立的实验随机种子之间共享它，从而使每条轨迹仅依赖于其自身的测量进化反馈。

## 3 方法

### 3.1 搜索对象与PINN目标

设T\\mathcal\{T\}表示一个PDE任务，包含一个域、控制律和物理约束。一个PINNuθu\_\{\theta\}通过以下方式训练：

L\(θ;a\)=λrEx∼Sa\[‖R\[uθ\]\(x\)‖22\]\+∑c∈CλcEx∼Cc\[‖Cc\[uθ\]\(x\)‖22\],\\mathcal\{L\}\(\\theta;a\)=\\lambda\_\{r\}\,\\mathbb\{E\}\_\{x\\sim S\_\{a\}\}\[\\\|\\mathcal\{R\}\[u\_\{\\theta\}\]\(x\)\\\|\_\{2\}^\{2\}\]\+\\sum\_\{c\\in\\mathcal\{C\}\}\\lambda\_\{c\}\,\\mathbb\{E\}\_\{x\\sim C\_\{c\}\}\[\\\|\\mathcal\{C\}\_\{c\}\[u\_\{\\theta\}\]\(x\)\\\|\_\{2\}^\{2\}\], (1)

其中算法规范aa决定了架构、激活函数、初始化、采样器SaS\_\{a\}、优化器、调度、损失权重和约束变换。我们在固定的评估网格上优化解MSE：

J\(a\)=1N∑i=1N\(uθa\(xi\)−u⋆\(xi\)\)2,J\(a\)=\\frac\{1\}\{N\}\\sum\_\{i=1\}^\{N\}\\left\(u\_\{\\theta\_\{a\}\}\(x\_\{i\}\)\-u^\{\\star\}\(x\_\{i\}\)\\right\)^\{2\}, (2)

以相对L2L\_\{2\}误差作为次要指标，PDE/约束残差作为诊断保留。

AlgorithmSpec在模式层面上是开放世界的。它包含网络、损失、采样、优化器、物理参数、输出变换和训练调度的结构化字段。运行时公布当前可用的组件，但这些组件只是示例，而不是离散的超参数网格。连续选择仍由LLM决定。

图1：我们用于基于LLM的PINN设计的进化架构。该架构控制评估种群、父代选择、精英存续、数值评估、跨代记忆和下一个提示。LLM作为对完整AlgorithmSpec对象的条件变异/交叉算子。有效指纹防止仅元数据重命名冒充新算法。

### 3.2 进化架构与跨代控制

在第gg代，种群Pg\\mathcal\{P\}\_\{g\}包含评估过的规范、指标和谱系。第零代生成无约束的提案。之后的每一代都遵循架构的进化设计循环：选择已测量的父代，构建状态条件的LLM提示，执行得到的PINN，保留精英和多样性的幸存者，并反思相对于父代的变化。因此，每个后续提示都是由架构根据先前的数值评估精心构建的。

对于定向变异，架构向LLM提供一个已评估的父代，并要求更改一到三个字段，同时保留已测量的优势并避免记录过的失败。对于不同父代交叉，架构选择两个具有不同有效指纹的父代。一个父代来自精英集，而第二个父代在竞争目标值的前提下倾向于配置距离。生成的提示包括PDE描述、运行时能力、跨代记忆、当前种群、父代指标、禁止指纹和当前最佳MSE。这些输入使得每个LLM提案都条件于搜索历史，而不仅仅依赖于PDE描述。

每个响应还包含显式的进化元数据：父代标识符、更改的字段、保留的优势、避免的失败模式、预测的改进和新颖性声明。这些解释并不决定适应性；它们使得LLM的假设相对于测量结果可审计。

### 3.3 有效指纹与候选者选择

候选者标识符、名称、世代索引、理由和谱系并不改变执行。因此，我们仅规范化有效字段并计算：

h\(a\)=SHA256\(canonical\(a∖M\)\)1:16,h\(a\)=\\operatorname\{SHA256\}\\\!\\left\(\\operatorname\{canonical\}\(a\\setminus\\mathcal\{M\}\)\\right\)\_\{1:16\}, (3)

其中M\\mathcal\{M\}是元数据字段集。如果提案的指纹已被评估或在同一世代中较早出现，则拒绝该提案。

在昂贵的训练之前，使用以下方法对新颖提案进行评分：

q\(a\)=0\.40Δ^\(a\)\+0\.30ν\(a\)\+0\.15τ\(a\)\+0\.10e\(a\)\+0\.05r\(a\),q\(a\)=0\.40\\hat\{\\Delta\}\(a\)\+0\.30\\nu\(a\)\+0\.15\\tau\(a\)\+0\.10e\(a\)\+0\.05r\(a\), (4)

其中Δ^\\hat\{\\Delta\}是LLM的有界预测改进，ν\\nu是基于距离的新颖性，τ\\taurewards定向更改，ee记录是否显式使用了父代优势和失败，rr指示非空理由。选择循环遍历提案、变异和交叉桶，以避免被单一算子主导。池中包括备用候选者，以便执行失败的方案不会消耗正式的训练槽位。

### 3.4 种群更新与世代反思

训练后，配置按主要指标和次要指标排序。保留最佳kk个唯一配置作为精英。其余槽位平衡排名和与已选配置的最小距离，从而保留替代谱系。

对于具有父代集Πi\\Pi\_\{i\}的子代aia\_\{i\}，反思计算：

Δi=J\(ai\)−minp∈Πi⁡J\(p\)\.\\Delta\_\{i\}=J\(a\_\{i\}\)\-\\min\_\{p\\in\\Pi\_\{i\}\}J\(p\). (5)

负的Δi\\Delta\_\{i\}记录了一个成功的假设；否则，该变化成为一个失败模式。记忆体存储先前的最佳值、世代最佳值、单调迄今最佳值、成功和失败的变化、最佳配置摘要以及下一代的指令。记忆体局域于一次运行，不在随机种子之间共享。

### 3.5 直接且可审计的执行

LLM从不生成Python代码。其结构化规范被传递给一个固定的PyTorch PINN运行时。已注册的组件被直接实例化；未注册的选择会显式失败。没有静默修复、后备替换或用手工设计的候选者替代。所有成功的模型都遵循相同的精确优化器-评估预算。这个契约将创造性搜索算子与可信的数值执行器分开。

## 4 实验

### 4.1 Wave-C基准测试

我们研究一维常系数波动方程：

utt−4uxx=0,\(x,t\)∈\[0,1\]2,u\_\{tt\}-4u\_\{xx\}=0,\\qquad\(x,t\)\\in\[0,1\]^\{2\}, (6)

具有齐次Dirichlet边界条件和：

u\(x,0\)\\displaystyle u\(x,0\)=sin⁡\(πx\)\+0\.5sin⁡\(4πx\),\\displaystyle=\\sin\(\\pi x\)\+0\.5\\sin\(4\\pi x\), (7)
ut\(x,0\)\\displaystyle u\_\{t\}\(x,0\)=0\.\\displaystyle=0. (8)

解析解为：

u⋆\(x,t\)=sin⁡\(πx\)cos⁡\(2πt\)\+0\.5sin⁡\(4πx\)cos⁡\(8πt\)\.u^\{\\star\}\(x,t\)=\\sin\(\\pi x\)\\cos\(2\\pi t\)\+0\.5\\sin\(4\\pi x\)\\cos\(8\\pi t\). (9)

混合空间频率使得激活函数、宽度、约束处理和配点密度的重要性凸显，同时保留精确评估的能力。

### 4.2 搜索协议

我们使用随机种子0和1进行两次独立搜索。每次运行使用十代，每代种群大小为十，每代请求十个变异和十个交叉，每代训练三个成功的PINN。每个成功的PINN恰好接收10,000次优化器评估。主要指标是

(Note: The translation stops at "主要指标是" because the original input ends there. The rest of the abstract and the following sections were included in the instruction but the text cuts off mid-sentence in the provided source. I will assume the input text is complete up to the point given, and "主要指标是" is the end of the provided content.)

(Translation completed up to the end of the provided text.)