使用大型语言模型驱动的代理系统自动发现生物系统的常微分方程

arXiv cs.AI 论文

摘要

本文介绍了MEDA,一个由LLM和符号回归驱动的代理框架,用于自动发现生物动态系统的常微分方程(ODE)模型。它检索背景知识,提出候选ODE,并在典型模型检索、外推和开放式发现任务中评估这些模型,展示了强大的结构恢复能力和生物学上合理的模型。

arXiv:2607.13608v1 Announce Type: new 摘要:自动科学发现长期以来一直是计算学者的目标——一台能够自行发现自然秘密的机器,将计算系统从数据拟合工具提升为生成和完善宇宙机理模型。符号回归(SR)和基于大型语言模型(LLM)的智能体最近取得的进展表明,此类系统可以从数据中恢复方程、融入领域先验知识,并自动化研究工作流程的部分环节。然而,现有方法大多专注于狭窄的方程发现基准测试或宽泛的端到端自动化流水线,而生物系统相对而言仍探索不足。在此,我们介绍MEDA系统,这是一个由LLM和SR驱动的智能体框架,用于发现生物及仿生动态系统的常微分方程(ODE)模型。MEDA检索背景知识、定义可接受变量、生成机理约束、提出候选ODE,并进行拟合与评估。我们在典型模型检索、基于推理的外推至未见变体以及开放式发现(有无实验数据)等任务上对其进行了评估。在这些场景中,MEDA恢复了正确的状态变量,在检索和外推任务中实现了强大的结构恢复,并生成了生物学上合理的、面向发现目的的模型。消融和鲁棒性分析表明,知识引导的形式化和机理约束是关键组成部分,而仅靠数值拟合可能保留轨迹兼容但生物学上不正确的方程。
查看原文
查看缓存全文

缓存时间: 2026/07/16 04:24

# 使用大语言模型驱动的智能体系统自动发现生物系统的常微分方程

来源:https://arxiv.org/html/2607.13608  
David Krongauz¹,², Arad Zulti¹,², Eran Segal¹,³, Teddy Lazebnik⁴,⁵,∗

¹以色列魏茨曼科学研究所计算机科学与应用数学系,雷霍沃特  
²以色列魏茨曼科学研究所分子细胞生物学系,雷霍沃特  
³穆罕默德·本·扎耶德人工智能大学,阿布扎比,阿拉伯联合酋长国  
⁴以色列海法大学信息系统系,海法  
⁵瑞典延雪平大学计算系,延雪平  
∗通讯作者:[email protected] (https://arxiv.org/html/2607.13608v1/[email protected])

###### 摘要

自动科学发现长期以来一直是计算领域学者的目标——一台能够自主发现自然奥秘的机器,将计算系统从数据拟合工具推向生成和完善宇宙机制模型的阶段。符号回归(SR)和基于大语言模型(LLM)的智能体的最新进展表明,此类系统能够从数据中恢复方程、整合领域先验知识,并实现研究工作流程的部分自动化。然而,现有方法大多要么聚焦于狭窄的方程发现基准,要么侧重于广泛的端到端自动化流程,而生物系统仍然相对未得到充分探索。在此,我们介绍MEDA系统,这是一个由LLM和SR驱动的智能体框架,用于发现生物及生物启发动力系统的常微分方程(ODE)模型。MEDA检索背景知识、定义可接受变量、生成机制约束、提出候选ODE、拟合并评估这些方程。我们在经典模型检索、基于推理的外推至未见变种以及开放式的发现(有或没有实验数据)中对其进行评估。在这些设置下,MEDA恢复了正确的状态变量,在检索和外推任务中实现了强大的结构恢复,并产生了生物学上合理的面向发现的模型。消融研究和稳健性分析表明,知识引导的形式化和机制约束是承载组件,而仅靠数值拟合可以保留轨迹兼容但生物学上不正确的方程。

关键词:假设评估;动力系统;基础模型;AI辅助理论化;文献感知推理。

## 1 引言

自动科学发现(ASD)跨越时空激发了科学家的想象力,推动了一系列广泛而长期的研究以实现这一终极目标34 (https://arxiv.org/html/2607.13608#bib.bib1),53 (https://arxiv.org/html/2607.13608#bib.bib2),32 (https://arxiv.org/html/2607.13608#bib.bib3),30 (https://arxiv.org/html/2607.13608#bib.bib4)。ASD已从人工智能(AI)的长期愿景发展成为一项活跃的研究计划,涵盖方程发现、闭环实验以及日益智能化的智能体工作流26 (https://arxiv.org/html/2607.13608#bib.bib27),61 (https://arxiv.org/html/2607.13608#bib.bib28),38 (https://arxiv.org/html/2607.13608#bib.bib8)。与此同时,大语言模型(LLMs)被定位为不仅是科学文本的接口,更是科学方法本身的组成部分,在背景综合、假设生成、实验规划和解释中担任拟议角色63 (https://arxiv.org/html/2607.13608#bib.bib29),13 (https://arxiv.org/html/2607.13608#bib.bib5),18 (https://arxiv.org/html/2607.13608#bib.bib6),21 (https://arxiv.org/html/2607.13608#bib.bib7)。这一势头重新引发了人们的期望:科学推理的部分环节可能实现自动化,或至少系统地获得增强,横跨广泛领域58 (https://arxiv.org/html/2607.13608#bib.bib9),39 (https://arxiv.org/html/2607.13608#bib.bib10),55 (https://arxiv.org/html/2607.13608#bib.bib11)。

事实上,高知名度的系统目前正尝试端到端的研究自动化,包括构思、代码生成、实验、可视化和论文写作33 (https://arxiv.org/html/2607.13608#bib.bib30),45 (https://arxiv.org/html/2607.13608#bib.bib31)。尽管如此,当前由LLM驱动的科学自动化浪潮往往在其经验可靠性方面过度承诺40 (https://arxiv.org/html/2607.13608#bib.bib12),52 (https://arxiv.org/html/2607.13608#bib.bib13)。例如,在抗记忆的方程发现基准上,所报告的最强系统仅在少数情况下恢复正确的符号形式49 (https://arxiv.org/html/2607.13608#bib.bib32),2 (https://arxiv.org/html/2607.13608#bib.bib14),4 (https://arxiv.org/html/2607.13608#bib.bib24)。同样,当用作科学验证器时,最先进的LLMs在已发表手稿的真实错误上表现出较差的召回率和精确度51 (https://arxiv.org/html/2607.13608#bib.bib33)。这些发现表明,流畅生成报告或学术论文不应与成功的科学发现混为一谈。如果目标是自动化核心科学工作,那么目标不应该是生成精美的稿件,而是构建、批判和完善机制性假设29 (https://arxiv.org/html/2607.13608#bib.bib15),15 (https://arxiv.org/html/2607.13608#bib.bib16)。

这一区别对于基于数学形式化描述世界的精确科学和生命科学尤为重要7 (https://arxiv.org/html/2607.13608#bib.bib20),1 (https://arxiv.org/html/2607.13608#bib.bib19),10 (https://arxiv.org/html/2607.13608#bib.bib18),19 (https://arxiv.org/html/2607.13608#bib.bib17),它们通常使用常微分方程(ODE)建模17 (https://arxiv.org/html/2607.13608#bib.bib21),36 (https://arxiv.org/html/2607.13608#bib.bib22),57 (https://arxiv.org/html/2607.13608#bib.bib23)。在系统生物学、流行病学、生态学和种群动力学中,ODE仍然是表达关于速率、相互作用、反馈和干预效应的机制假设的最紧凑、最有用的语言之一。主要挑战是结构性的,而非仅仅数值性的:不仅要推断参数值,还要推断哪些项应该出现在方程中。符号回归(SR)通过同时搜索方程结构和系数来解决这个问题,而不是在预先指定的函数族内拟合参数37 (https://arxiv.org/html/2607.13608#bib.bib34),46 (https://arxiv.org/html/2607.13608#bib.bib35)。例如,给定捕食者和猎物种群数量的时间序列,SR可能发现如xyxy这样的双线性相互作用项是控制规律所必需的,而不仅仅是使用黑盒预测器近似轨迹4 (https://arxiv.org/html/2607.13608#bib.bib24)。尽管如此,它本质上只解决了从数值数据中发现符号模型的“最后一英里”挑战,忽略了特征定义、从部分观测中推断动力学、甚至评估所获模型作为科学工具的可用性等大部分科学过程59 (https://arxiv.org/html/2607.13608#bib.bib25),11 (https://arxiv.org/html/2607.13608#bib.bib26)。

为此,近期的尝试部分旨在利用人类(或科学家)反馈的优化循环来应对这些挑战44 (https://arxiv.org/html/2607.13608#bib.bib44),24 (https://arxiv.org/html/2607.13608#bib.bib45),31 (https://arxiv.org/html/2607.13608#bib.bib46)。例如,在生态学中,SR已被视为一种协作的人机过程,用于从数据中揭示关系、模型和候选原理8 (https://arxiv.org/html/2607.13608#bib.bib36)。在更广泛的方程发现领域,SciMED表明,显式的科学家在环设计可以将领域知识注入符号搜索,从而提高稳健性、合理性和可解释性50 (https://arxiv.org/html/2607.13608#bib.bib37)。其他研究工作表明,通过稀疏库或基于语法先验来约束假设空间可以大幅提高控制方程的恢复效果6 (https://arxiv.org/html/2607.13608#bib.bib38),3 (https://arxiv.org/html/2607.13608#bib.bib39)。最近,LLM-SR展示了LLMs可以为符号搜索提供科学先验和程序性骨架48 (https://arxiv.org/html/2607.13608#bib.bib40),甚至可以作为评判者指导SR搜索过程54 (https://arxiv.org/html/2607.13608#bib.bib41),但它仍然主要将方程发现视为一个基准测试的搜索问题,而非一个更广泛的科学推理问题循环。

在本研究中,我们有意识地将ASD的目标从自动撰写学术论文(及其相关的所有子任务)缩减到更核心的科学任务——发现ODE并为其提供明确的机制理由,这进一步扩展了近期SR系统的范围。尽管大多数知识整合的SR模型侧重于物理学47 (https://arxiv.org/html/2607.13608#bib.bib47),62 (https://arxiv.org/html/2607.13608#bib.bib48),56 (https://arxiv.org/html/2607.13608#bib.bib49),28 (https://arxiv.org/html/2607.13608#bib.bib50),其中可以用形式化方程表达规则35 (https://arxiv.org/html/2607.13608#bib.bib51)并利用对称性27 (https://arxiv.org/html/2607.13608#bib.bib52)或通用简化形式(如牛顿定律)14 (https://arxiv.org/html/2607.13608#bib.bib53),25 (https://arxiv.org/html/2607.13608#bib.bib54)等先验知识,但在本研究中,我们聚焦于生物用例,这是一个更具挑战性的领域,缺乏这些性质,但拥有丰富的ODE建模历史43 (https://arxiv.org/html/2607.13608#bib.bib55),22 (https://arxiv.org/html/2607.13608#bib.bib56),16 (https://arxiv.org/html/2607.13608#bib.bib57)。具体来说,生物ODE发现尤其困难,因为数据噪声大、稀疏、异质且通常仅有部分信息,而先验知识通常是缺失而非完全不存在60 (https://arxiv.org/html/2607.13608#bib.bib42),12 (https://arxiv.org/html/2607.13608#bib.bib43)。因此,我们的LLM驱动的智能体系统首先搜索相关背景知识,然后通过生物学驱动的约束来模式化定义可接受的动力学结构,只有到了这一步才生成、拟合和评判候选方程。候选假设不仅根据与观测动力学(如果提供的话)的数值一致性进行评估,还根据概念性标准(如机制一致性、可接受的相互作用和可解释性)进行评估,这些均由模型隐式推断,而非由专家用户推断。通过将SR与知识丰富的数值拟合和迭代科学批判相结合,所提出的框架旨在既能重建已知的生物ODE,也能在文献仅提供部分机制指导时发现新的ODE。

## 2 机制方程发现智能体系统

MEDA(*机制方程发现智能体*)系统通过将LLM智能体与受约束的SR相结合,来发现机制系统的ODE模型。与使用黑盒预测器拟合轨迹,或要求LLM直接输出方程不同,MEDA重构了围绕模型的科学推理过程。它遵循类似于人类科学家的路径:从文献中收集背景知识,定义可接受的状态变量和生物学约束,搜索满足这些条件的稀疏ODE系统,然后评判和评估结果。每一步由专门的智能体执行,该智能体读取并写入人类可读的产物,因此可以在发现方程背后对完整的推理链进行检查、解释和由人类专家验证。

图1 (https://arxiv.org/html/2607.13608#S2.F1)提供了MEDA架构的示意图。流程按阶段进行。文献调查员编译关于目标系统的引用背景,包括预期约束、候选模型族和定性动力学特征。形式化员将这些材料整理成机器可读的问题规范:它选择相关约束,将其表达为类型化语法,并提议种子方程。运行器随后对多项式ODE系统进行进化搜索,根据候选方程满足生物学约束的程度、稀疏性以及(当有数据时)再现观测轨迹的程度进行评分。最后,报告员、回顾员和评估员总结、评判并(对照保留的真实数据)对发现的模型进行评分。

见图注

图 1:MEDA 的架构。专门的智能体(中心)各自读取定义的输入产物并将定义的输出产物(右侧)写入共享的会话目录。实线箭头适用于两种操作模式;绿色虚线箭头仅在数据锚定模式下激活,在该模式下,提供的时间序列输入到探索器(EDA + SINDy 筛选)和运行器。真实方程与所有发现智能体隔离,仅在盲搜索结束后由评估员读取(红色虚线箭头)。MEDA 由一组专门的智能体组成,由编排器协调。每个智能体读取一个定义的输入产物,执行一个狭窄的科学或计算角色,并将结构化的输出产物写入共享的会话目录。这种设计使得发现过程可检查:文献综述、数据摘要、形式约束、种子方程、选定的 ODE 系统、诊断、批判和评估指标均可以独立审计。系统在两种模式下运行。在仅约束模式下,不提供经验时间序列,搜索由文献衍生的生物学约束、定性动力学特征和稀疏性偏好引导。在数据锚定模式下,用户额外提供时间序列;系统总结轨迹,可选地执行 SINDy 样式的稀疏回归筛选,并用轨迹拟合分数增强搜索目标。在两种模式下,用于基准测试的真实方程与所有发现智能体隔离,仅在模型生成后的后期回顾和评估阶段由后验评估员访问。流程通过一系列可解释的产物进行。数据探索器(仅在数据锚定模式下使用)描述提供的轨迹并识别候选的数据支持项。文献调查员总结相关的生物学机制、约束、规范模型族和定性特征。形式化员将这些信息转换为机器可读的问题规范,包含状态变量、类型化的硬约束和软约束、候选种子方程、受保护的核心项、多项式次数限制和约束权重。验证员在搜索开始前检查此规范。运行器随后使用由约束满足(可用时)、数据拟合和稀疏性组成的复合目标,在稀疏多项式 ODE 系统上执行受约束的符号搜索,同时硬约束门控和核心项保护保持生物学可接受性。最后,报告员将选定的模型转换为人类可读的科学输出,回顾员诊断系统级失效模式,评估员在可用时将结果与真实情况进行比较。完整的技术细节和默认实现设置在附录中提供。

重要的是,MEDA 在两种模式下运行。在“约束-

相似文章

通过大型模型的演化

OpenAI Blog

本论文证明了在代码上训练的大型语言模型可以显著增强遗传编程的变异算子,使得能够在 Sodarace 领域中生成数十万个功能性 Python 程序用于机器人设计,且无需预训练数据。该方法称为演化通过大型模型(ELM),将 LLM 与 MAP-Elites 相结合,为上下文特定的制品生成引导新的条件模型。

迈向自主且可审计的医学影像模型开发

Hugging Face Daily Papers

介绍AMID,一个用于医学影像模型开发的自主多智能体框架,利用LLM智能体来规划、执行和验证实验。在20项医学影像任务中,它优于通用MLE系统,并接近人类设计的解决方案。