用于自动神经算子发现的智能体AI科学社区

# 一个用于自动神经算子发现的智能体AI科学社区
来源：https://arxiv.org/html/2607.12122
Luis Loo 和 Ulisses Braga-Neto
德克萨斯农工大学电气与计算机工程系，College Station, TX
loo, [email protected]

###### 摘要
我们提出了一种基于*AI科学社区*的自主神经算子发现智能体方法，该社区由一群虚拟实验室组成，这些实验室在基于引用的影响力经济下相互交互。被高引的实验室会创建遵循其研究方向的新实验室，并替换表现不佳的实验室。每个虚拟实验室包含三个智能体：一个LLM规划器，用于提出架构；一个数值工作者，用于训练和评估该架构；以及一个LLM评审者，参与跨实验室同行评审。所有实验室共享一个由DeepONet（分支-主干）、傅里叶、Transformer（注意力）、小波和残差卷积神经算子构建块组成的公共词汇表。我们针对五个问题评估了该神经算子AI科学社区，即分段回归、一维线性平流和Burgers PDE，以及二维Navier-Stokes和Darcy流PDE，并对每个问题重复进行三次模拟。结果表明，神经算子AI科学社区能够发现高精度、低参数量的神经算子架构。所有9,623次LLM调用均被记录和审计，揭示出虚拟实验室LLM规划者在其99.8%的记录决策中选择混合化，始终返回多族混合架构。此外，我们进行了一项消融研究，将每个实验室中的LLM智能体替换为基于规则的替代方案，这导致科学社区在多个案例中崩溃为未混合的单族堆叠，表明LLM智能体对于保持多样性是必要的。结果暗示了神经算子的无免费午餐定理：*不存在通用赢家*。代码、配置和完整的LLM转录文本已发布在https://github.com/luislootx/AI-SC。

## 1 引言

算子学习已成为构建偏微分方程求解器快速替代模型的核心工具kovachki2023neuraloperator (https://arxiv.org/html/2607.12122#bib.bib1)。然而，每个算子族都编码了固定的归纳偏置：傅里叶神经算子（FNO）的全局谱卷积li2021fno (https://arxiv.org/html/2607.12122#bib.bib2)，DeepONet的分支-主干分解lu2021deeponet (https://arxiv.org/html/2607.12122#bib.bib3)，小波算子的多分辨率基tripura2023wno (https://arxiv.org/html/2607.12122#bib.bib4)，以及Transformer风格算子的注意力机制cao2021galerkin (https://arxiv.org/html/2607.12122#bib.bib5); hao2023gnot (https://arxiv.org/html/2607.12122#bib.bib6)。此外，为新的PDE选择架构超参数（如深度、宽度和块组成）仍然需要手动完成。这引出一个自然的问题：

> *对一个由自动化的智能体虚拟实验室组成的神经算子研究社区进行模拟，能否在没有人类先验或干预的情况下，为给定问题发现正确的神经算子架构？*

参见图标题
图1：神经算子AI科学社区。

为了回答这个问题，我们采用了一个*AI科学社区*框架，该框架将智能体AI与群体智能相结合，创建了去中心化的虚拟实验室网络braganeto2026aicommunity (https://arxiv.org/html/2607.12122#bib.bib7)。在这个范式中，群体中的每个粒子代表一个完整的虚拟实验室实例，使得集体科学探索能够模拟现实世界的研究社区。该框架利用群体智能的固有属性，即去中心化协调、平衡的探索-利用权衡以及涌现的集体行为。虚拟实验室群体在基于引用的经济下探索设计空间，其中被高引的实验室获得影响力和繁殖优先权，而未获引用的实验室则被替换。

### 主要贡献

1. 1. 用于神经算子发现的智能体框架。我们提出了一个用于神经算子架构搜索的AI科学社区，包含LLM规划者和评审者智能体以及一个基于梯度的数值工作者。
2. 2. LLM智能体的消融研究。我们将每个实验室中的LLM规划者和评审者替换为基于规则的智能体，从而在相同训练预算下隔离语言模型所带来的增益。答案在于架构而非精度：具有LLM规划者的研究社区提出了参数精简的多族混合架构，而具有基于规则智能体的社区则倾向于坍缩到规范族。
3. 3. 神经算子的无免费午餐结果。模拟结果表明没有算子具有通用性。具有LLM智能体的AI科学社区发现了多族混合架构，而经过消融处理（使用基于规则智能体）的社区倾向于坍缩到规范的单族堆叠，在谱友好的Burgers和Navier-Stokes问题上使用傅里叶，在分段回归和Darcy问题上使用小波。

## 2 相关工作

### 神经算子。
FNOli2021fno (https://arxiv.org/html/2607.12122#bib.bib2)学习傅里叶空间中的卷积核，而DeepONetlu2021deeponet (https://arxiv.org/html/2607.12122#bib.bib3)则将输入函数编码（分支）与查询位置编码（主干）分开。严格的比较发现FNO和DeepONet在不同场景下各有优势lulu2022comparison (https://arxiv.org/html/2607.12122#bib.bib8)，这表明没有特定的神经算子架构能够统一主导所有问题，神经算子AI科学社区在更广泛的背景下重新发现了这一事实，该背景包括具有多分辨率基的小波算子tripura2023wno (https://arxiv.org/html/2607.12122#bib.bib4)、Transformer/注意力算子cao2021galerkin (https://arxiv.org/html/2607.12122#bib.bib5); hao2023gnot (https://arxiv.org/html/2607.12122#bib.bib6)以及具有残差块的卷积神经算子raonic2023convolutional (https://arxiv.org/html/2607.12122#bib.bib9)。其他变体包括U形多尺度算子rahman2023uno (https://arxiv.org/html/2607.12122#bib.bib10)和针对不规则区域的几何自适应变体li2023geofno (https://arxiv.org/html/2607.12122#bib.bib11)。

### 架构搜索。
神经架构搜索（NAS）通过强化学习zoph2017nasrl (https://arxiv.org/html/2607.12122#bib.bib12)、进化搜索real2019regevo (https://arxiv.org/html/2607.12122#bib.bib13)、搜索空间的梯度松弛liu2019darts (https://arxiv.org/html/2607.12122#bib.bib14)以及许多其他策略elsken2019nassurvey (https://arxiv.org/html/2607.12122#bib.bib15)来自动化模型设计。一条更激进的路线是从原始操作演化出完整的学习算法，而不是在预定义块中进行选择real2020automlzero (https://arxiv.org/html/2607.12122#bib.bib16)。神经算子AI科学社区在算子块基因组上执行进化/粒子群搜索kennedy1995pso (https://arxiv.org/html/2607.12122#bib.bib17)，其中提议和选择策略被委托给LLM智能体。

### LLM作为优化器和架构提议者。
大型语言模型已被用作黑箱优化器yang2024opro (https://arxiv.org/html/2607.12122#bib.bib18)、神经架构搜索的提议引擎zheng2023genius (https://arxiv.org/html/2607.12122#bib.bib19)以及数学和科学发现中的程序和假设搜索romeraparedes2024funsearch (https://arxiv.org/html/2607.12122#bib.bib20)。与我们的LLM规划者最接近的是EvoPromptingchen2023evoprompting (https://arxiv.org/html/2607.12122#bib.bib21)，它使用语言模型作为进化循环中的变异和交叉算子，以提出代码级架构。我们的规划者在算子块基因组上扮演相同角色，但我们做了两个设计选择以增强可测量性：适应度信号来自确定性训练过程而非学习预测器，并且每次LLM驱动的运行都配有一个基于规则的对照臂，从而可以通过消融来隔离语言模型的贡献。

### 多智能体LLM系统。
越来越多的工作提出了*虚拟实验室*，这些实验室由具有不同角色的LLM智能体团队组成，他们通过交流来完成任务，例如，对话式多智能体框架wu2024autogen (https://arxiv.org/html/2607.12122#bib.bib22)、沟通式智能体社会li2023camel (https://arxiv.org/html/2607.12122#bib.bib23)以及模拟软件公司qian2024chatdev (https://arxiv.org/html/2607.12122#bib.bib24)或标准化操作程序组织hong2024metagpt (https://arxiv.org/html/2607.12122#bib.bib25)的角色专业化团队。在工作流层面，此类团队驱动端到端研究智能体lu2026aiscientist (https://arxiv.org/html/2607.12122#bib.bib26)和数值算法设计toscano2025athena (https://arxiv.org/html/2607.12122#bib.bib27)。我们的框架不同之处在于，它通过使用虚拟实验室群体将该范式提升了一个层次。每个实验室由规划者、工作者和评审者智能体组成。评审者的接受/拒绝投票是LLM作为评判者评估的一种形式zheng2023llmjudge (https://arxiv.org/html/2607.12122#bib.bib28)，此处应用于候选算子的同行评审，而非聊天机器人的响应。AI科学社区本身是在braganeto2026aicommunity (https://arxiv.org/html/2607.12122#bib.bib7)中提出的。

## 3 问题形式化

### 算子学习。
给定一个PDE，其解算子G:A→U将输入函数a∈A（例如初始条件或系数场）映射到解u=G(a)∈U，我们寻找一个参数化替代模型G_θ，最小化期望的相对L2误差
 L(θ) = E_{a∼μ} [ ||G_θ(a) - G(a)||_2 / ||G(a)||_2 ],   (1)
该误差通过对采样的输入-输出对进行估计。相对L2误差是整个过程中的主要精度度量。

### 架构搜索空间。
我们通过一个*基因组* g = (b_{1:L}, c, m, σ, ...) 来定义架构，其中b_{1:L}是长度为L∈[2,8]的块序列，这些块从词汇表
 B = {branch_trunk, Fourier, attention, wavelet, residual_conv},   (2)
中抽取；c是隐藏宽度，m是谱模式数，σ是激活函数，此外还有门控、跳跃连接、丢弃和学习率。一个基因组编译成一个具体的神经算子G_{θ(g)}。发现问题是双层规划：
 g^* = arg min_g L(θ^*(g)),   θ^*(g) = arg min_θ L̂_train(θ; g),   (3)
其中内层问题是固定架构的普通梯度训练，外层问题则是搜索基因组。我们使用智能体虚拟实验室群体来求解外层问题，而内层问题通过梯度下降求解。

## 4 方法

### AI科学社区框架。
一个由N个虚拟实验室组成的群体探索基因组空间。每个实验室i持有一个当前基因组g_i、一个个体历史最佳、一个速度（用于解析更新）以及一个通过同行评审累积的*信任*分数。每次迭代包含四个阶段（见算法1 (https://arxiv.org/html/2607.12122#alg1)）：

1. 1. 规划。每个实验室提出其下一个基因组g_i。
2. 2. 训练。每个实验室编译g_i并以筛选逼真度进行训练，返回清洁数据和含噪数据上的相对L2误差测量值。
3. 3. 同行评审。实验室评审一组同龄实验室样本并投出软投票；投票像引用一样积累影响力并更新信任分数。
4. 4. 生命周期。一个复合适应度分数结合了精度、泛化能力、参数效率和新颖性（带有精度下限）；更新全局最佳，有影响力的实验室存活并繁殖，未获引用的实验室被替换。

虚拟实验室i的复合适应度分数为
 F_i = w_a A_i + w_g G_i + w_e E_i + w_n ν_i,   (4)
其中(w_a, w_g, w_e, w_n) = (0.70, 0.20, 0.05, 0.05)。当精度低于下限时适应度归零，这防止极小或退化模型仅靠效率或新颖性获胜。这里A_i是由相对L2误差导出的精度分数，G_i奖励对输入噪声的鲁棒性，E_i奖励参数精简性，ν_i是相对于群体中其他实验室的架构新颖性得分。权重是预先固定的，所有运行和两种条件共享，且未经过调整；精度被有意设计为主导因素。使权重自适应留作未来工作。

算法1 神经算子AI科学社区。
1: 初始化N个实验室，涵盖各种范式（FNO、DeepONet、注意力、小波、卷积、混合）。
2: for 迭代 t = 1,...,T do
3:   for 每个活跃实验室 i do
4:     g_i ← Plan(g_i, g_best, {g_j}_{j≠i}, history_i)
5:   end for
6:   for 每个活跃实验室 i do
7:     θ_i ← Train(g_i); 测量相对L2误差
8:   end for
9:   {v_i} ← PeerReview({(g_i, fitness_i)})
10:  更新复合适应度、信任、全局最佳；停用未获引用实验室，繁殖有影响力实验室
11: end for

### 单个虚拟实验室。
每个虚拟实验室包含三个智能体。规划者提出下一个基因组；工作者编译并用梯度下降训练相应的算子，返回测量的相对L2误差；评审者对一组候选同龄实验室投出同行评审票。规划者根据自身历史、全局最佳以及同龄实验室及其测量适应度的摘要向LLM查询下一个基因组；评审者向LLM查询，根据测量适应度对候选基因组进行评分。提议从JSON解析并投射到有效的基因组空间。我们在本地通过Ollama提供gemma3:12b服务，因此整个流程可复现且无需付费API。工作者明确是数值型的而非LLM，这样适应度信号在不同实验室和迭代之间保持一致和可比。

### LLM消融研究。
该框架在规划者和评审者角色上是模型无关的，这允许我们通过将LLM智能体替换为基于规则的替代方案来进行干净的LLM智能体消融研究：规划者使用探索/利用粒子群更新，而评审者使用精度比例投票。不涉及任何语言模型。基于规则的替代方案与原始AI科学社区具有相同的群体规模、迭代次数、训练预算、适应度和随机种子；仅规划者/评审者策略不同。这隔离了LLM智能体的效果。

### 智能体审计框架。
在智能体系统中一个反复出现的风险是，语言模型可能静默退化为基于规则的备用方案（例如，遇到瞬时错误或格式错误的输出时）。我们