基于大语言模型定性及定量评估的常微分方程发现方法

# 通过基于大语言模型（LLM）的定性与定量评估发现常微分方程

**来源**: https://arxiv.org/html/2605.07323

###### 摘要

从观测数据中发现控制微分方程是科学机器学习中的一个基本挑战。现有的符号回归方法主要依赖定量指标；然而，现实世界中的微分方程建模还需要结合领域知识以确保物理上的合理性。为了弥补这一差距，我们提出了 DoLQ，一种通过基于 LLM 的定性和定量评估来发现常微分方程的方法。DoLQ 采用多智能体架构：采样器智能体（Sampler Agent）提出动态系统候选项，参数优化器（Parameter Optimizer）提高方程的准确性，而科学家智能体（Scientist Agent）利用 LLM 进行定性和定量评估，并综合其结果以迭代指导搜索过程。在多维常微分方程基准上的实验表明，与现有方法相比，DoLQ 取得了更优越的性能，不仅达到了更高的成功率，而且更准确地恢复了真实方程的正确符号项。我们的代码可在 https://github.com/Bon99yun/DoLQ 获得。

符号回归，常微分方程，大型语言模型，科学发现

## 1. 引言

为了理解复杂的动态系统，科学家们长期以来一直在追求简洁的数学定律（Wigner 等, 1990 (https://arxiv.org/html/2605.07323#bib.bib1)）。微分方程是描述物理、化学和生物学等各个领域系统动态行为的基本工具，当控制方程已知时，就可以预测和控制系统的未来状态。然而，在许多现实世界系统中，控制方程的形式并不明确，必须从观测数据中推断出来。因此，迫切需要能够从数据中直接推导出可解释的、显式数学公式的方法（Rudin, 2019 (https://arxiv.org/html/2605.07323#bib.bib2)）。

> 参见图注
> **图 1**：相似的均方误差（MSE）并不意味着正确的发现：即使 MSE 很低，识别出的方程也可能与真实方程不同，这表明仅靠定量指标是不够的，因此需要定性评估。

> 参见图注
> **图 2**：基于 LLM 的 ODE 发现框架 DoLQ 概览。该框架通过三个组件之间的迭代循环运行：（1）采样器智能体根据系统描述和科学家智能体的反馈提出具有物理依据的候选项；（2）参数优化器构建函数并拟合其参数；（3）科学家智能体通过定性语义评估和定量迭代比较评估每一项，确定指导后续迭代的行动。

非线性动力学的稀疏识别（SINDy）（Brunton 等, 2016 (https://arxiv.org/html/2605.07323#bib.bib5)）通过构建预定义的基础函数库并通过稀疏回归识别系统动力学来解决这一方程发现問題。虽然 SINDy 效率很高，但在为具有未知函数形式的系统选择合适的库时存在困难。或者，符号回归（SR）方法试图找到一个符号函数 $f$，将输入变量 $\mathbf{x}$ 映射到观测输出 $y$，满足 $y \approx f(\mathbf{x})$，基于给定数据（Koza, 1992 (https://arxiv.org/html/2605.07323#bib.bib3); Schmidt 和 Lipson, 2009 (https://arxiv.org/html/2605.07323#bib.bib4)）。SR 通过识别常微分方程（ODE）的右侧 $\mathbf{f}$ 扩展到动态系统发现，公式为 $\dot{\mathbf{x}} = \mathbf{f}(t, \mathbf{x})$，该方程控制系统。基于 SR 的方法通过自主发现微分方程克服了库的限制。例如，ODEformer（d’Ascoli 等, 2024 (https://arxiv.org/html/2605.07323#bib.bib6)）利用 Transformer 架构从观测数据生成 ODE，从而实现不同方程结构的发现。然而，仅依赖数值数据，这些方法往往无法验证生成项的物理意义或一致性。

最近，LLM 进入了 SR 领域。这些方法用 LLM 取代了用于方程生成的传统进化算法（Shojaee 等, 2025 (https://arxiv.org/html/2605.07323#bib.bib7); Grayeli 等, 2024 (https://arxiv.org/html/2605.07323#bib.bib8)）。通过利用 LLM 的广泛先验知识和假设生成能力，这些研究优于传统方法。然而，它们对候选方程的评估仍然主要依赖于均方误差（MSE）或模型复杂度等定量标准。如图 1 (https://arxiv.org/html/2605.07323#S1.F1) 所示，具有相似低数值误差的方程可能暗示不同的物理机制。这突出了纯数值评估的局限性，并激发了对定性评估的需求。由于科学中的微分方程通常基于自然现象和人类直觉，发现项的物理合理性变得至关重要。

为了解决这些局限性，我们提出了 **DoLQ**，一个新颖的框架，用于通过基于 LLM 的定性和定量评估发现常微分方程（**D**iscovering **O**rdinary differential equations with **L**LM-based **Q**ualitative and **Q**uantitative evaluation）。DoLQ 是一个协作框架，由三个关键组件组成：采样器智能体、参数优化器和科学家智能体。采样器智能体利用 LLM 的语义推理，提出基于定性物理依据的候选项。参数优化器确定所提出项的最佳数值参数。至关重要的是，科学家智能体通过评估候选方程在语义和物理上是否合理（而不仅仅依赖数值拟合）来丰富搜索过程中的定性评估。通过结合物理推理和数值验证，DoLQ 可以识别多种动态系统中超越简单多项式形式的多维 ODE 的控制规律。

我们的主要贡献总结如下：

- **集成的定性-定量框架**：DoLQ 明确地将定性物理推理嵌入到搜索循环中，引导发现过程走向既满足数值准确性又具有物理可解释性，同时保持紧凑方程结构的方程。
- **在复杂系统上的卓越性能**：我们证明 DoLQ 在识别正确控制方程方面取得了最高的成功率，特别是在现有方法难以捕捉正确动态的情况下表现出色。
- **定性评估的影响**：我们证明了定性推理在过滤掉物理上不合理项方面的有效性，验证了语义评估在引导发现过程走向正确控制方程方面起着至关重要的作用。

## 2. 问题形式化

我们考虑一个数据驱动的发现任务，其中输入由两部分组成：数值观测和语义描述。设 $\mathcal{D} = \{(t_i, \mathbf{x}(t_i))\}_{i=0}^{N-1}$ 为时间序列状态观测，其中 $\mathbf{x}(t_i) \in \mathbb{R}^d$ 表示时间 $t_i$ 时的系统状态。此外，还提供了系统描述 $\mathcal{T}$，它代表了从业者在面对发现任务时所拥有的特定领域先验知识。我们的目标是发现一个可解释的 ODE 系统 $\dot{\mathbf{x}}(t) = \mathbf{f}(t, \mathbf{x})$，其中 $\mathbf{f} = [f_0, \dots, f_{d-1}]^T$ 由 LLM 提出的函数项组成，该 LLM 综合了来自 $\mathcal{T}$ 的领域知识和 $\mathcal{D}$ 中的数值模式。目标是识别最小化均方误差（MSE）的 $\mathbf{f}$。对于第 $j$ 维，积分 MSE 定义为：

$$
\sum_{i=0}^{N-1} \left( x_j(t_i) - \left( x_j(t_0) + \int_{t_0}^{t_i} f_j(s, \mathbf{x}) \, ds \right) \right)^2. \tag{1}
$$

这里，积分表示从初始条件 $\mathbf{x}(t_0)$ 开始对 ODE 系统进行数值积分得到的状态轨迹。具体而言，$\mathcal{T}$ 包括在数据收集之前已知的且不参考数学公式的事实，例如物理原理和定性评估。虽然提供此上下文，但 $\mathcal{T}$ 严格禁止指定数学结构；例如，允许描述“空气阻力”，但不允许显式项如 $-cx^2$ 或 $\sin(x)$。这确保模型利用物理直觉，而无需知晓真实符号形式。

## 3. 方法论

在建立问题形式化之后，我们现在详细描述 DoLQ 框架及其组件。DoLQ 是一个迭代框架，包括用于生成符号候选项的采样器智能体、用于估计系数的参数优化器以及用于定性和定量评估的科学家智能体（图 2 (https://arxiv.org/html/2605.07323#S1.F2)）。该循环通过利用领域知识和数值模式，逐步改进发现的方程，引导搜索走向物理一致且准确的模型。

### 3.1 采样器智能体（Sampler Agent）

采样器智能体是一个基于 LLM 的组件，它为 ODE 系统的每个维度提出候选项，以及基于系统描述和科学家智能体反馈的自然语言依据。详见附录 K.1 (https://arxiv.org/html/2605.07323#A11.SS1) 中的详细提示示例。

**采样器提示。** 输入提示由三个部分组成：（1a）角色规范，陈述 SR 任务以及提供特定领域上下文和物理原理的系统描述 $\mathcal{T}$；（1b）科学家智能体指导，包括从前几次迭代中合成的累积知识、逐项评估结果（保留或搁置）以及标记为无效的移除项骨架集合；（1c）技术约束，包括输出格式要求和说明性示例。

**采样器 LLM 响应。** 采样器智能体以结构化格式生成 ODE 候选项，将每个符号项与基于系统描述的自然语言依据配对。至关重要的是，每个项都格式化为可执行的 Python 代码片段，利用状态变量 $x$ 和参数占位符 `params[...]`（例如，`params[0] * x`）。如图 2 (https://arxiv.org/html/2605.07323#S1.F2) 所示，输出组织为多个候选假设。对于每个假设，为系统的每个维度生成一组不同的项。每个项都附有物理依据和推理，使框架能够在探索多样化结构假设的同时，保持评估和消融不同物理机制的能力。

### 3.2 参数优化器（Parameter Optimizer）

参数优化器接收采样器智能体提出的项列表，并通过两个步骤将其细化为准确的微分方程：构建可执行函数和优化其参数。

**函数构建。** 对于每组项，我们通过实例化具有可训练参数的符号项来构建可执行骨架函数。此函数代表第 $j$ 维的候选微分方程 $f_j(t, \mathbf{x}; \boldsymbol{\theta})$，其中 $\boldsymbol{\theta}$ 表示要优化的参数。详见附录 B.4 (https://arxiv.org/html/2605.07323#A2.SS4) 中的详细示例。

**混合优化。** 我们寻找最小化残差 MSE 的最佳参数 $\boldsymbol{\theta}$：

$$
\sum_{i=0}^{N-1} \left( \dot{x}_j(t_i) - f_j(t_i, \mathbf{x}; \boldsymbol{\theta}) \right)^2, \tag{2}
$$

其中 $\dot{x}_j(t_i)$ 表示时间 $t_i$ 处的数值估计导数，通过从 $\mathcal{D}$ 中的有限差分计算得出。我们采用残差 MSE 而不是积分 MSE（公式 1 (https://arxiv.org/html/2605.07323#S2.E1)），原因有二：（1）积分 MSE 需要在每个优化步骤进行昂贵的数值积分，（2）在多维系统中，一个维度的错误会导致积分期间的轨迹发散，即使对于正确识别的维度也会导致得分不佳。残差 MSE 独立评估每个维度，从而实现适当的信用分配。因此，我们在整个优化过程中使用残差 MSE。

虽然许多 SR 研究使用 BFGS（Fletcher, 2013 (https://arxiv.org/html/2605.07323#bib.bib43)），但已知其对初始化敏感，如果起始值设定不当，往往无法收敛（见第 5.2 节 (https://arxiv.org/html/2605.07323#S5.SS2)）。因此，我们采用一种混合策略，首先应用差分进化（Storn 和 Price, 1997 (https://arxiv.org/html/2605.07323#bib.bib11)）以识别有希望的参数区域，然后进行 BFGS 优化以进行细化。在实践中，我们评估所有三种策略——单独使用 BFGS、单独使用差分进化以及混合方法，选择 MSE 最低的候选项。

### 3.3 科学家智能体（Scientist Agent）

科学家智能体重新评估从参数优化器接收到的优化候选方程 $\mathbf{f}$。它从两个互补的角度评估每个候选项：基于系统描述的定性评估和通过迭代比较测量的定量贡献。在完成这些评估后，该智能体综合两种结果，向采样器智能体提供反馈和建议操作。

#### 3.3.1 定量评估

对于定量评估，科学家智能体评估优化方程中的哪些项是真正必要的。我们执行简单的消融测试。对于方程中的每个项，我们暂时将其移除（将其系数设为零）并重新计算残差 MSE。如果缺少该项时误差显著增加，则该词对拟合有实质性贡献。如果误差保持不变或减少，则该词不必要或有害，应移除。

基于这种消融分析，术语分为三类：**良好**（移除会显著增加误差的项，表明正面贡献）、**中性**（移除对误差影响微乎其微的项）和**不良**（移除会降低误差的项，表明负面影响）。为了使消融标准具体化，考虑图 2 (https://arxiv.org/html/2605.07323#S1.F2) 中间面板中显示的说明性示例。在该示例中，`np.sin(x1)` 被分类为**良好**，因为移除它会使 MSE 增加 78.2%，而 `x1**4` 被分类为**不良**，因为移除它会降低整体误差，表明该项夸大了拟合。详见附录 B (https://arxiv.org/html/2605.07323#A2)。

#### 3.3.2 定性评估

对于定性评估，科学家 LLM 评估每个术语与系统描述中描述的物理或数学意义的吻合程度。详见附录 K.2 (https://arxiv.org/html/2605.07323#A11.SS2)。