LLM引导的ODE发现与基于小样本队列聚合数据的参数推断

# 面向小样本汇总数据的LLM引导常微分方程发现与参数推断

**来源：** https://arxiv.org/html/2607.00733

杨涵宁¹\*，梅洛皮·卡拉奇乌拉基²，伦纳特·普鲁克³，蒂姆·利特温¹，克里斯蒂娜·哈斯²，莫里茨·赫斯¹

¹ 德国弗莱堡大学医学院医学中心，医学生物统计学与医学信息学研究所
² 德国弗莱堡大学医学院医学中心，皮肤病学系
³ 德国弗莱堡大学，Prior Labs

hanning\.yang@uniklinik\-freiburg\.de

###### 摘要

基于常微分方程（ODEs）的机理建模能够以可解释的方式描述复杂动态过程，并推断底层机制，这在临床场景中尤为宝贵。然而，在罕见病研究中，模型的结构和参数通常未知，同时个体层面数据稀缺、噪声大、异质性强，并受隐私约束。在此类场景下，群体水平的汇总统计量提供了一种实用的隐私保护数据表示形式，而捕捉异质性则需要将参数建模为分布而非固定值。然而，现有方法均无法仅从汇总统计量中同时发现ODE结构并优化参数分布。我们提出AgentODE，一个端到端框架以填补这一空白。大语言模型（LLM）提出候选ODE结构，而一个工具增强的推断智能体通过“诊断-更新”循环迭代优化参数分布，整个过程仅依赖群体水平的汇总统计量。我们在三个跨学科基准问题以及两个临床数据集上评估了AgentODE，其中包括罕见病隐性营养不良型大疱性表皮松解症（RDEB），该数据集仅有46名患者的231个观测值。AgentODE在所有场景下均能恢复功能一致的ODE结构。在RDEB实验中发现，在稀疏且有噪声的数据环境下，基于汇总统计量的推理能促进符合机理原则的结构发现，而能够访问个体数据的基线方法尽管预测性能更优，却恢复了不合理甚至退化的结构。AgentODE开辟了在数据稀缺和隐私约束通常限制此类分析的场景下，直接从群体水平汇总统计量对罕见病进行机理建模的新途径¹¹¹代码地址：https://github.com/HanningYang/AgentODE。

## 1 引言

基于常微分方程（ODEs）的机理模型为描述生物学、医学和工程学等领域的复杂系统动态过程提供了系统化框架（Raue 等，2013 (https://arxiv.org/html/2607.00733#bib.bib14)）。通过明确编码变量间的机理关系，ODE模型具有可解释性，支持对底层过程的推理，并能对观测数据之外的情况进行外推。这些特性使ODE在理解疾病机理至关重要的临床场景中特别有价值。然而，构建ODE模型通常需要大量专业知识来指定系统的功能结构和参数。在罕见病中，这些知识往往有限，而可用数据通常稀缺、噪声大、异质性强并受隐私约束（Hilgers 等，2016 (https://arxiv.org/html/2607.00733#bib.bib1)）。捕捉这种异质性需要将参数建模为分布而非固定值（Jaqaman and Danuser, 2006 (https://arxiv.org/html/2607.00733#bib.bib15)）。这些挑战使得即使是依赖拟合个体数据的方法，在实际中可靠地识别模型也十分困难。在实践中，群体水平的汇总统计量常被用作务实的替代方案，因为它们能在保护隐私的同时实现数据共享，并在噪声、不规则采样和小样本队列下仍提供有信息量的表示。尽管符号回归（Makke and Chawla, 2024 (https://arxiv.org/html/2607.00733#bib.bib17)）和稀疏识别（Brunton 等，2016 (https://arxiv.org/html/2607.00733#bib.bib16)）等自动结构发现方法可以从数据中恢复控制方程，但它们依赖于密集的个体数据来拟合和评估模型。近期基于LLM的ODE发现方法（Holt 等，2024 (https://arxiv.org/html/2607.00733#bib.bib19)；Du 等，2024 (https://arxiv.org/html/2607.00733#bib.bib20)；Yang 等，2026 (https://arxiv.org/html/2607.00733#bib.bib21)；Bideh and Gryak, 2026 (https://arxiv.org/html/2607.00733#bib.bib22)）通过利用LLM中嵌入的科学知识来提出候选结构，从而扩展了这一范式，但它们同样依赖于个体数据来评估拟合优度。与此同时，非线性混合效应模型（Lavielle, 2014 (https://arxiv.org/html/2607.00733#bib.bib18)）等群体水平方法通过跨个体整合信息来应对数据稀疏性，但需要预先指定模型结构。这些限制共同暴露了一个关键缺口：目前尚无方法能仅从群体水平的汇总统计量中同时发现ODE结构并优化参数分布。

大语言模型在科学知识检索、数学推理和代码生成（Romera-Paredes 等，2024 (https://arxiv.org/html/2607.00733#bib.bib25)；Shojaee 等，2024 (https://arxiv.org/html/2607.00733#bib.bib5)）、复杂数据的可视化解释（Achiam 等，2023 (https://arxiv.org/html/2607.00733#bib.bib24)）以及提出科学语境下的信息先验分布（Riegler 等，2025 (https://arxiv.org/html/2607.00733#bib.bib4)）方面展现了强大能力。这些能力自然契合数据稀缺场景下ODE发现的核心挑战。科学知识检索和代码生成使得无需显式专家输入即可提出具有机理基础的ODE结构。视觉推理能力使模型能够从以可视化摘要形式呈现的汇总统计量中解读模式。提出信息先验分布的能力则启发了将参数建模为分布以捕捉群体水平异质性。最后，智能体范式使LLM能够将推理和工具使用交错进行，基于反馈迭代诊断并优化输出（Yao 等，2022 (https://arxiv.org/html/2607.00733#bib.bib23)）。

基于这些见解，我们提出AgentODE（图1 (https://arxiv.org/html/2607.00733#S1.F1)），这是一个端到端框架，能够从群体水平汇总统计量中同时发现ODE结构并优化参数分布。AgentODE的核心由LLM介导的两个耦合反馈循环组成：一个外层结构发现循环，根据合成汇总统计量与经验汇总统计量之间的差异来提出并评分候选ODE结构；一个内层参数推断循环，通过诊断并减少这些差异来迭代优化参数分布。该过程从LLM提出候选ODE结构开始。对于每个结构，参数推断智能体通过迭代的“诊断-更新”循环来优化参数分布。在每次迭代中，当前分布被用于生成合成数据，计算其汇总统计量并与经验汇总统计量进行比较以识别差异。然后，智能体结合对先前高性能迭代的记忆对这些差异进行推理，以更新参数分布。一个带有动态记忆的经验缓冲区存储发现的结果，并提供示例以指导后续的ODE结构提议。

我们在三个合成基准问题上（涵盖材料科学、药代动力学和分子生物学）以及两个临床数据集上（急性肾损伤（AKI）和隐性营养不良型大疱性表皮松解症（RDEB），后者是一种仅有46名患者231个观测值的罕见皮肤病）评估了AgentODE。以GPT-5.2为骨干LLM，AgentODE在仅操作群体水平汇总统计量的情况下，其性能与能够访问完整轨迹的基线方法相当。在RDEB上，我们证明了基于群体水平汇总统计量的推理为结构发现提供了更强的信号：通过浓缩群体水平模式同时减轻个体水平噪声，汇总统计量引导LLM朝向真实的底层机制，而能够访问个体数据的基线方法尽管预测误差更低，却发现的是机理上不合理或退化的结构。这表明，在稀疏且有噪声的临床场景中，仅凭预测性能不足以评估机理模型的质量。

**我们的贡献如下：**
*   我们提出AgentODE，这是首个能够从群体水平汇总统计量中同时发现ODE结构并优化参数分布的框架。
*   我们证明，在稀疏且有噪声的临床场景中，汇总统计量可以作为稳健且有信息量的数据表示形式来指导机理模型推断，从而在减轻对个体噪声过拟合的同时恢复底层动态行为。
*   我们展示了联合推断出的结构和参数分布可用于生成捕捉观测异质性的合成患者群体。

**见图示说明**

**图1：** AgentODE概览。输入包括问题描述和经验汇总。LLM提出候选ODE结构。对于每个结构，智能体执行初始推断以获得起始参数分布，据此生成合成数据，使用logSL进行评估，并生成与经验数据对比的可视化摘要。然后，智能体通过“诊断-更新”循环优化参数。在诊断阶段，从对比可视化中识别差异，并使用统计工具进行量化以生成诊断报告。在更新阶段，智能体读取该报告，并从过去的参数分布及相应的logSL信息中学习，以更新参数分布。经验缓冲区存储结构和参数分布，用于指导未来的结构提议。AgentODE输出最优ODE模型 \(f^*\) 和推断出的参数分布 \(p^*(\theta)\)。

## 2 相关工作

**LLM的智能体推理。** ReAct框架（Yao 等，2022 (https://arxiv.org/html/2607.00733#bib.bib23)）建立了在LLM智能体中交错进行推理和工具使用的范式。Reflexion（Shinn 等，2023 (https://arxiv.org/html/2607.00733#bib.bib26)）通过整合对存储在情景记忆缓冲区中过去失败的反省扩展了这一想法，使智能体能够在多次尝试中改进决策。相关方法进一步探索了LLM中的结构化推理和规划（Yao 等，2023 (https://arxiv.org/html/2607.00733#bib.bib29)；Wang 等，2023 (https://arxiv.org/html/2607.00733#bib.bib30)）。LLM在知识检索（Romera-Paredes 等，2024 (https://arxiv.org/html/2607.00733#bib.bib25)；Shojaee 等，2024 (https://arxiv.org/html/2607.00733#bib.bib5)）、复杂数据可视化解释（Achiam 等，2023 (https://arxiv.org/html/2607.00733#bib.bib24)）和提出信息先验分布（Riegler 等，2025 (https://arxiv.org/html/2607.00733#bib.bib4)）等科学任务中也展现了强大能力。在这些进展基础上，AgentODE将智能体推理应用于机理模型发现，来自汇总统计量的迭代反馈同时指导结构发现和参数推断。

**方程与ODE结构发现。** 经典方法包括符号回归（Makke and Chawla, 2024 (https://arxiv.org/html/2607.00733#bib.bib17)）和稀疏识别（Brunton 等，2016 (https://arxiv.org/html/2607.00733#bib.bib16)）能从数据中恢复控制方程，但需要个体级数据并依赖预定义算子集或函数库。科学机器学习领域的相关进展，如神经ODE（Chen 等，2018 (https://arxiv.org/html/2607.00733#bib.bib32)）和通用微分方程（Rackauckas 等，2020 (https://arxiv.org/html/2607.00733#bib.bib33)），允许对动态系统进行灵活建模，但依赖不可解释的神经组件而非明确的机理结构。基于LLM的方法如LLM-SR（Shojaee 等，2024 (https://arxiv.org/html/2607.00733#bib.bib5)）和LaSR（Grayeli 等，2024 (https://arxiv.org/html/2607.00733#bib.bib34)）部分弥补了这一差距，通过利用LLM中嵌入的科学知识，通过搜索或可重用概念库指导方程发现。近期方法包括LLM4ED（Du 等，2024 (https://arxiv.org/html/2607.00733#bib.bib20)）、D3（Holt 等，2024 (https://arxiv.org/html/2607.00733#bib.bib19)）、KeplerAgent（Yang 等，2026 (https://arxiv.org/html/2607.00733#bib.bib21)）利用LLM提出ODE结构，但仍依赖个体级数据进行评估。非线性混合效应模型（Lavielle, 2014 (https://arxiv.org/html/2607.00733#bib.bib18)）等群体级方法跨个体整合信息，但需要预定义的ODE结构。据我们所知，AgentODE是首个从群体水平汇总统计量中同时发现ODE结构并优化参数分布的框架。

**基于仿真的推断。** 基于仿真的推断涵盖无似然参数估计方法（Cranmer 等，2020 (https://arxiv.org/html/2607.00733#bib.bib3)）。经典方法如近似贝叶斯计算（Beaumont, 2019 (https://arxiv.org/html/2607.00733#bib.bib35)）通过汇总统计量比较经验数据和合成数据，而近期神经方法如序列神经似然（Papamakarios 等，2019 (https://arxiv.org/html/2607.00733#bib.bib36)）和神经后验估计（Greenberg 等，2019 (https://arxiv.org/html/2607.00733#bib.bib38)）使用神经密度估计器学习后验分布。这些方法可能需要大量仿真预算并产生较难解释的输出。合成似然（Wood, 2010 (https://arxiv.org/html/2607.00733#bib.bib2)）定义了汇总统计量上的似然，通过比较合成和经验汇总统计量实现参数推断。这与我们的设定一致，其中参数推断依赖于汇总统计量。

**表1**（(https://arxiv.org/html/2607.00733#S2.T1)）比较了现有方法与AgentODE的关键能力。LLM-SR†表示我们为ODE发现所做的改编。AgentODE是唯一能够同时发现ODE结构、推断参数分布 \(p(\theta)\) 并操作群体水平汇总统计量的方法。

**表 1：** 各方法关键能力比较。†针对ODE发现的改编。

## 3 AgentODE

AgentODE专为罕见病等临床场景设计，基于群体水平汇总统计量而非直接使用个体级数据。该框架由两个紧密耦合的组件组成：一个LLM引导的ODE结构发现模块（外层循环；第3.4节 (https://arxiv.org/html/2607.00733#S3.SS4)）和一个工具增强的参数推断智能体（内层循环；第3.5节 (https://arxiv.org/html/2607.00733#S3.SS5)）。结构发现模块提出候选ODE结构，由参数推断智能体通过迭代优化参数分布进行评估。此评估基于合成与经验汇总统计量之间的差异，这些差异引导其...