GRAFT-ATHENA：用于自主发现和进化数值算法的自我改进智能体团队

# GRAFT-ATHENA：用于自主发现和演化数值算法的自我改进智能体团队
来源：https://arxiv.org/html/2605.11117

###### 摘要
科学发现可以被建模为一系列概率决策，将物理问题映射到数值解上。近期的智能体 AI 系统通过编排由大语言模型（LLM）驱动的规划器、求解器和评估器来自动化单个科学任务。每种方法都是方法论动作的组合，对于任何给定的问题都有许多可行的组合，并且选择之间存在结构依赖关系。然而，现有框架孤立地处理每个问题，缺乏共享的底层结构来跨领域积累方法论经验。在这里，我们展示了 GRAFT-ATHENA，这是一个自我改进的智能体框架，它从过去的问题中学习，并自主地在不同领域中扩展其动作空间。GRAFT（图归约到自适应因子树）将组合决策空间投影到因子概率树中，其中每种方法是单一路径，将参数足迹从指数级降低到线性级。在经典贝叶斯网络的谱系中，这种因子分解是策略的 II-映射， resulting 路径作为唯一指纹嵌入度量空间，其接近性使每个新问题能够从相似的历史问题中学习。在规范的物理信息机器学习（PIML）基准测试上，GRAFT-ATHENA 达到了接近机器精度的准确性，超过了人类和 prior 智能体基线，并在生产求解器上解决了复杂的工程问题，例如根据 1968 年的报告重建阿波罗指令舱上方的 Mach-10 流动，以及恢复剪切稀薄红细胞流变学。值得注意的是，该系统增长其自身的知识底层结构，自主地为病态逆问题提出正则化约束，并发现新的数值方法，如具有指数收敛性的谱 PINN。这些结果为自主实验室奠定了基础，实验室随着解决的每个问题而变得更加强大。

###### 关键词：智能体 AI，科学计算，科学机器学习，知识图谱，因子决策树，持续学习，自主科学发现

††journal: arXiv \affiliation \[inst1\] organization=布朗大学应用数学系, city=普罗维登斯, postcode=02912, state=RI, country=USA
label2label2footnotetext: 通讯作者: george\_karniadakis@brown\.edu

## 1 引言

自主科学计算正在超越代码生成和固定求解器执行，转向能够选择方法、运行并评估结果的智能体。近期的系统端到端地执行此类任务，从问题规范到实验建议再到优化，涵盖从材料发现到药物重用的基准测试 Gottweiset al.\[2025 (https://arxiv.org/html/2605.11117#bib.bib792)\], Ghafarollahi and Buehler \[2025 (https://arxiv.org/html/2605.11117#bib.bib19)\], Villaescusa\-Navarroet al\.\[2025 (https://arxiv.org/html/2605.11117#bib.bib795)\], Buehler \[2025 (https://arxiv.org/html/2605.11117#bib.bib805)\], Stewartet al\.\[2026 (https://arxiv.org/html/2605.11117#bib.bib800)\], Stewart and Buehler \[2026 (https://arxiv.org/html/2605.11117#bib.bib797)\], Ni and Buehler \[2026 (https://arxiv.org/html/2605.11117#bib.bib806)\], Jiang and Karniadakis \[2026 (https://arxiv.org/html/2605.11117#bib.bib27)\]。在这些努力中，目标是创造一个随着解决的每个问题而变得更加强大的智能体。一个每次运行时都能改进的实验室在类别上是一种不同的计算工具，而不仅仅是一个更快的工具。实现这一愿景需要更强的规划器：它需要一个组织底层结构，记录方法选择、结果以及跨问题的可重用经验。

缺失的底层结构是能够记录、组织和重用过去问题的方法论经验的系统。大多数当前系统，包括 ATHENA，都围绕给定问题内的成功执行或优化组织，而不是围绕跨问题家族持久存在的共享、可测量的动作空间。这是该领域的自然阶段：规划器、编码智能体、科学智能体框架和大型解决方案扫描已显示出实质性的任务级别能力，但它们通常将经验存储为文本、轨迹或工件，而不是可重用的方法邻域。共同的局限性是结构性的而非偶然的：由 LLM 驱动的智能体内的动作空间通常是隐式的，即模型可以在提示中发出的任何内容，因此不可枚举、不可导航或不可测量。没有这样的空间，就无法定义策略之间的距离，无法分配奖励加权先验，也无法验证覆盖率；因此，每个新问题都从头开始，问题 $n$ 上的成功不会传播到问题 $n+1$ Toscanoet al\.\[2025a (https://arxiv.org/html/2605.11117#bib.bib18)\], Deotaleet al\.\[2026 (https://arxiv.org/html/2605.11117#bib.bib807)\], Fenget al\.\[2026 (https://arxiv.org/html/2605.11117#bib.bib798)\], Ghafarollahi and Buehler \[2025 (https://arxiv.org/html/2605.11117#bib.bib19)\], Jeonet al\.\[2026 (https://arxiv.org/html/2605.11117#bib.bib799)\], Wanget al\.\[2026a (https://arxiv.org/html/2605.11117#bib.bib801)\], Subramaniamet al\.\[2025 (https://arxiv.org/html/2605.11117#bib.bib791)\]。这种缺失的底层结构不仅限制了智能体可以记住的内容，还限制了它可以支持的推理类型。

相关的区别在于关联（链接相似案例）、干预（测试选定动作）和反事实推理（询问在未选定的动作下结果会有何变化）。Pearl 的因果阶梯形式化了这一层次结构，并为智能体科学计算提供了有用的诊断工具 Pearl \[2018 (https://arxiv.org/html/2605.11117#bib.bib17),2019 (https://arxiv.org/html/2605.11117#bib.bib9)\]。普通的 LLM 和检索管道主要通过关联操作，在没有支持超出表面相似性转移的动作-结果处理的情况下进行模式匹配 Wuet al\.\[2023a (https://arxiv.org/html/2605.11117#bib.bib509)\]。大多数当前用于科学计算的智能体框架通过提议-批评循环添加了干预，这些循环在单个问题内行动、观察和修正 Ghafarollahi and Buehler \[2025 (https://arxiv.org/html/2605.11117#bib.bib19)\], Jeonet al\.\[2026 (https://arxiv.org/html/2605.11117#bib.bib799)\], Wanget al\.\[2026a (https://arxiv.org/html/2605.11117#bib.bib801)\], Subramaniamet al\.\[2025 (https://arxiv.org/html/2605.11117#bib.bib791)\], Deotaleet al\.\[2026 (https://arxiv.org/html/2605.11117#bib.bib807)\], Georgievet al\.\[2025 (https://arxiv.org/html/2605.11117#bib.bib25)\], Xuet al\.\[2025 (https://arxiv.org/html/2605.11117#bib.bib796)\], Yanget al\.\[2026 (https://arxiv.org/html/2605.11117#bib.bib803)\],Luoet al\. (https://arxiv.org/html/2605.11117#bib.bib794)。反事实推理今天仍然遥不可及，因为当前系统很少暴露持久的、可检查的动作空间，在此基础上可以定义距离、先验和替代动作。

ATHENA Toscanoet al\.\[2025a (https://arxiv.org/html/2605.11117#bib.bib18)\] 说明了这种干预级别机制的希望和边界。作为上下文多臂老虎机建模，该框架使用 LLM 智能体的层次化团队来选择动作、执行代码、观察结果并在问题内优化解决方案，在 PIML 基准测试上达到了最先进的性能。它还表明，专家方法论知识可以帮助智能体团队通过对称性或变换发现精确解，并为诸如无粘性 Burgers 方程与 PINNs 这样的案例提出方法。其更广泛的教训是，专家知识对于智能体科学计算至关重要。然而，在 ATHENA 中，这些知识主要存在于系统提示、脚手架和运行历史中，而不是在具有自然扩展规则的可测量动作空间中。开放的提示空间允许发现，但新的尝试和强大的结果并未转化为可重用的状态。因此，该系统展示了干预循环，但仍然缺乏一种机制，使经验能够从一个问题系统地积累并转移到下一个问题。

为了解决这些局限性，我们引入了 GRAFT-ATHENA，这是一个建立在显式、可导航、可增长且跨问题共享的底层结构上的自我改进智能体框架。该底层结构由 GRAFT（图归约到自适应因子树）产生，这是一种构造，将求解器属性和交叉规则的有向无环图（DAG）转换为具有确定性嵌入到度量空间中的因子决策树。每种方法是动作树 $\mathcal{T}_A$ 中的一条路径，每个问题是其伴随问题树 $\mathcal{T}_P$ 中的一条路径，持久记忆 $\mathcal{D}$ 记录每个已解决的实例及其可观测值和奖励。因此，积累的科学经验的焦点是底层结构，而不是语言模型，因为从 $\mathcal{D}$ 中检索的邻居会为每个新问题上的候选方法提供奖励校准的先验。该框架通过记忆支持关联，通过执行和修复支持干预，并记录用于未来反事实查询的动作空间。

GRAFT 提供正式的底层结构。它将求解器属性的 DAG 投影到因子决策树中，将交叉规则保留为局部先决条件，而不是将每个依赖关系折叠到单个联合类别中。这将策略足迹从指数级 $\prod_j |\mathcal{A}_j|$ 变为决策链和规则的线性级 $\sum_j |\mathcal{A}_j| + |\mathcal{R}|$，同时认证 resulting 因子分解为策略的 II-映射 Verma and Pearl \[1988 (https://arxiv.org/html/2605.11117#bib.bib782)\]。相同的树为每个问题和方法提供唯一指纹，因此策略之间的距离是可计算的，$\mathcal{D}$ 中最近的成功邻居成为下一次运行的奖励加权先验。

智能体系统在该底层结构上以科学问题进入工作流的相同顺序运行。扩展和构建团队首先通过摄取求解器文档并使用 GRAFT 验证每个新分支来增长动作图。形式化团队然后将自由形式的用户请求转换为良态问题表示，在将其编码为 $\mathcal{T}_P$ 上的指纹之前审核方程、边界数据、简化过程和可识别性。基于该指纹，策略团队从 $\mathcal{T}_A$ 中采样方法，实现团队将其实现为可运行代码，顾问对结果进行评分，修订失败的选择，或在当前词汇不足时扩展动作树。每次尝试都提交到 $\mathcal{D}$，因此问题内修正和跨问题积累是同一循环的一部分。

相同的机制处理任何其用户界面旋钮允许 DAG 描述的求解器，这里在 PDE 求解器（Nektar++ Cantwellet al\.\[2015 (https://arxiv.org/html/2605.11117#bib.bib14)\], Trixi.jl Ranochaet al\.\[2021 (https://arxiv.org/html/2605.11117#bib.bib220)\], PIML Toscanoet al\.\[2026 (https://arxiv.org/html/2605.11117#bib.bib23)\]）和非 PDE 求解器（LAMMPS Thompsonet al\.\[2022 (https://arxiv.org/html/2605.11117#bib.bib63)\] 用于耗散粒子动力学）上进行了练习。

相同的机制产生三类结果。在四个规范 PIML 基准测试上，GRAFT-ATHENA 达到了比人类和近期智能体基线（包括 ATHENA Toscanoet al\.\[2025a (https://arxiv.org/html/2605.11117#bib.bib18)\]）更低的误差下限（表 1 (https://arxiv.org/html/2605.11117#S2.T1)）。粘性 Burgers 情况直接揭示了机制，因为先验从邻近的高雷诺数运行中检索雷诺数延续，并在中等 Re 下改善早期智能体轨迹 (§2.4 (https://arxiv.org/html/2605.11117#S2.SS4))。在真实的工程目标上，该系统根据 1968 年 NASA 报告 Griffith and Boylan \[1968 (https://arxiv.org/html/2605.11117#bib.bib16)\] 重建阿波罗指令舱上方的 Mach-10 高超音速流 (§2.5 (https://arxiv.org/html/2605.11117#S2.SS5))，并在耗散粒子动力学中恢复剪切稀薄红细胞流变学 (§2.6 (https://arxiv.org/html/2605.11117#S2.SS6))。在开放式发现中，它提出病态逆问题的正则化器 (§2.7 (https://arxiv.org/html/2605.11117#S2.SS7)) 并设计具有指数收敛性的谱 PINN (§2.8 (https://arxiv.org/html/2605.11117#S2.SS8))，扩展动作空间并将扩展持久化到 $\mathcal{D}$。因此，知识单调积累，因为每次迭代，无论成功或失败，都提交到长期记忆 (§4.1.8 (https://arxiv.org/html/2605.11117#S4.SS1.SSS8))。

这项工作的贡献可以总结如下。

1. 1\. GRAFT 将组合科学方法空间转换为具有显式依赖规则的因子概率决策树，具有注入指纹嵌入、Jaccard 度量和奖励校准先验，形式保证包括 II-映射认证、注入性和度量结构，分别陈述在命题 4.1 (https://arxiv.org/html/2605.11117#S4.Thmtheorem1)、命题 4.2 (https://arxiv.org/html/2605.11117#S4.Thmtheorem2) 和命题 A.3 (https://arxiv.org/html/2605.11117#A1.Thmtheorem3) 中。

参见标题

图 1：GRAFT-ATHENA 系统概述。

(A) 知识图谱扩展：扩展团队从求解器文档、方法论文或领域专家中提炼草稿 DAG 和提示；构建团队整合草稿，将每个提示分类为跨属性依赖或一般节点装饰，GRAFT（图归约到自适应因子树，§2.2 (https://arxiv.org/html/2605.11117#S2.SS2)）仅接受产生规则保持树投影的片段。

(B) 长期底层结构：两个知识图谱 $\mathcal{G}_P$（问题空间）和 $\mathcal{G}_A$（动作词汇表），加上记忆 $\mathcal{D} = \{(p_j, m_i, O_i, r_i)\}$ 记录每个带有可观测值 $O_i$ 和奖励 $r_i$ 的已解决实例；新节点使过去条目有效，因此 $\mathcal{D}$ 非破坏性增长。

(C) 每问题设置：形式化团队将自由形式的用户查询转换为结构化的用户请求，由分析树 $\mathcal{T}_F$（简化移动的分析 DAG $\mathcal{G}_F$ 的 GRAFT 投影）指导，该树提供脚手架而不施加约束；编码团队将其映射到因子问题树 $\mathcal{T}_P$ 上，返回指纹 $p_j$。

(D) 热启动：$\mathcal{D}$ 中 $p_j$ 的最近邻居，由指纹相似性和奖励加权，并与均匀先验混合，在 $\mathcal{T}_A$ 上诱导概率动作空间；相同的邻居提供锚定现实目标的预期可观测值。

(E) 每试验循环：策略团队（提议者加批评者）从 $\mathcal{T}_A$ 中沿 GRAFT 的决策级别采样指纹 $m_i$；实现团队将 $m_i$ 实现为可运行代码 $S_i$ 并返回可观测值 $O_i$；顾问团队（诊断员加顾问智能体）对运行进行评分，计算 $r_i$，并在失败时要么使用每节点一般提示修订提议，要么用新节点扩展分支（$\mathcal{G}_A$ 在试验中途增长）；成功时，它还将新提示写入触