盈亏平衡复杂度：神经偏微分方程求解器的新视角

# 神经偏微分方程求解器的新视角 来源: https://arxiv.org/html/2605.15399 张怡静 威斯康星大学麦迪逊分校 yzhang2637@wisc\.edu 尼古拉斯·罗伯茨 威斯康星大学麦迪逊分校 nick11roberts@cs\.wisc\.edu 坦尼娅·马尔瓦 Google DeepMind tmarwah@google\.com 米哈伊尔·霍达克 威斯康星大学麦迪逊分校 khodak@wisc\.edu ###### 摘要 偏微分方程（PDE）的神经替代求解器有望相较于数值方法实现显著加速，尤其是在需要大量求解的场景中。然而，当前基于精度的评估并未充分考虑两个核心问题：(1) 神经求解器在数据生成、训练和调优方面需要大量前期成本；(2) 经典求解器也能以足够低的模拟成本生成低保真度解。为了明确考虑这些现实因素并全面纳入端到端成本，我们提出了一个以**盈亏平衡复杂度**为核心的评估框架。该指标衡量的是一个学习型求解器在与误差相当的传统求解器相比实现成本效益所需的向前求解次数。为了评估这一指标，我们应用缩放定律来确定数据生成应该分配多少训练预算，并讨论了如何在各种设置中实现平滑的误差匹配。我们在来自 APEBench 的三个二维周期域 PDE 以及一个由 GPU 原生 PyFR 代码生成的新型多障碍物流动基准上，评估了多个神经 PDE 求解器的盈亏平衡复杂度。除其他发现外，我们的结果表明，当问题在成本、维度、展开长度、物理机制（如更高的雷诺数）等方面变得更困难时，神经 PDE 求解器变得**更有效**。 ††脚注: 代码: https://github\.com/yijingz02/breakeven\_complexity ***数据集: https://huggingface\.co/datasets/yijingz/breakeven\_complexity\.## 1 引言 PDE 模拟是一种关键的工程工具，能够在实验昂贵或不切实际的情况下对物理系统进行预测和分析 [8 (https://arxiv.org/html/2605.15399#bib.bib14),18 (https://arxiv.org/html/2605.15399#bib.bib15)]。最近，机器学习（ML）的进展推动了数据驱动替代模型的激增，这些模型可以通过仅进行神经网络前向传播来快速求解瞬态 PDE [19 (https://arxiv.org/html/2605.15399#bib.bib8),21 (https://arxiv.org/html/2605.15399#bib.bib22)]。这种类型的加速对众多大规模科学计算任务具有显著潜在影响。然而，尽管神经 PDE 替代模型在训练后通常具有快速推理能力，但它们需要大量的前期成本，包括数据生成、模型训练和调优。此外，神经 PDE 替代模型通常是低保真度的近似，而经典模拟器可以通过可调参数（网格分辨率、时间步数等）在精度和成本之间进行权衡，从而也允许以降低的成本进行低保真度模拟 [3 (https://arxiv.org/html/2605.15399#bib.bib12)]。这就产生了一个单纯的精度无法解决的决策问题：何时值得投入替代模型的前期训练成本，而不是直接以适当选择的较低保真度运行数值求解器？在一些场景中，如实时推理，降低延迟通常是主要关注点，这促使部署替代模型——即使训练成本不菲，只要替代模型比具有类似误差的经典求解器更快即可 [30 (https://arxiv.org/html/2605.15399#bib.bib9),3 (https://arxiv.org/html/2605.15399#bib.bib12)]。相反，我们的动机来自于需要重复进行向前 PDE 求解以拟合潜在量或优化目标的情况，例如在 PDE 约束的反问题、控制和设计问题中 [4 (https://arxiv.org/html/2605.15399#bib.bib10)]。对于这些非实时应用，决策根本上变成了一种摊销权衡：替代求解器是否会被使用足够多次，使得生成数据和训练模型所花费的计算资源是值得的——也就是说，这些资源用于查询类似低保真度的传统求解器是否更好？现有的神经 PDE 替代模型评估实践主要侧重于测量相对于固定高保真度地面真值模拟器的预测误差，这通常低估了端到端成本，使得回答这个问题变得困难 [28 (https://arxiv.org/html/2605.15399#bib.bib11),17 (https://arxiv.org/html/2605.15399#bib.bib31),24 (https://arxiv.org/html/2605.15399#bib.bib13)]。为了弥补这一空白，我们提出了一种考虑计算成本的评估框架，使决策权衡变得明确。我们的方法围绕**盈亏平衡复杂度**展开，它衡量的是神经 PDE 替代模型相对于误差匹配的低保真度经典模拟器实现成本效益所需的向前求解次数。与仅基于精度的评估不同，盈亏平衡复杂度在单一数字中同时考虑了数据生成成本、训练成本、推理成本和低保真度。这使得能够在学习模型与经典求解器之间进行更现实的比较，从而更好地为决策提供信息，并准确地传达它们相对于传统求解器的潜力。我们的具体贡献如下： 1. 1. 我们围绕**盈亏平衡复杂度**构建了一个评估框架，这是一个针对学习型 PDE 求解器的成本感知指标，建立在 McGreivy 和 Hakim [22 (https://arxiv.org/html/2605.15399#bib.bib25), 公式 1] 建议的摊销量基础上。我们制定了其最坏情况和平均情况的变体，并通过以下方式使其计算变得实用：(a) 使用缩放定律在固定预算水平下在优化和数据生成之间分配计算资源；(b) 展示了如何在降低分辨率时平滑地改变误差以寻找误差匹配的求解器。 2. 2. 我们将我们的方法论应用于来自 APEBench 的三个二维周期 PDE 设置（通过伪谱 Exponax 代码求解 [17 (https://arxiv.org/html/2605.15399#bib.bib31)]），以及一个名为 **BreakFlow** 的新型数据集，该数据集包含使用尺度分辨、GPU 原生 PyFR 代码 [33 (https://arxiv.org/html/2605.15399#bib.bib32)] 模拟的多障碍物流动。我们将发布所有四个数据集的多保真度变体，以及支持在这些基准和未来基准上评估盈亏平衡复杂度的协议。 3. 3. 我们在上述基准上评估了八个领先模型（五个监督求解器和四个基础模型）的盈亏平衡复杂度。我们的研究表明，根据已报告误差表现良好的模型在我们成本感知指标下有时可能表现不佳，该指标可用于研究学习型求解器的鲁棒性，并且在 APEBench（周期性）任务上，学习型求解器可能需要数十万次推理调用才能实现成本效益。 4. 4. 另一方面，通过研究跨多个空间维度、展开长度和雷诺数的盈亏平衡复杂度，我们发现随着任务难度的增加，它**持续降低**。这表明神经 PDE 求解器的成本效益可能随着模拟难度的增加而**提高**。 ## 2 相关工作 存在多种基于神经网络的方法来求解 PDE，包括物理信息神经网络（PINN）[25 (https://arxiv.org/html/2605.15399#bib.bib29)] 和神经算子 [19 (https://arxiv.org/html/2605.15399#bib.bib8),31 (https://arxiv.org/html/2605.15399#bib.bib24)]。我们的工作侧重于评估那些在经典模拟器生成的数据上训练网络的方法（例如神经算子）；该领域见证了（基于误差的）性能的稳步提升 [31 (https://arxiv.org/html/2605.15399#bib.bib24),7 (https://arxiv.org/html/2605.15399#bib.bib23)]。最近，基础模型也开始在该领域中使用，有望通过从大规模预训练数据中进行迁移来减轻数据生成的前期成本 [14 (https://arxiv.org/html/2605.15399#bib.bib16),21 (https://arxiv.org/html/2605.15399#bib.bib22)]。这些神经替代模型已在各种基准上进行了评估，主要依据它们相对于某个高保真度数值模拟器的预测误差。像 PDEBench [28 (https://arxiv.org/html/2605.15399#bib.bib11)]、PDEAreana [12 (https://arxiv.org/html/2605.15399#bib.bib27)]、APEBench [17 (https://arxiv.org/html/2605.15399#bib.bib31)] 和 The Well [24 (https://arxiv.org/html/2605.15399#bib.bib13)] 等基准都提供了跨不同基线 PDE 的大规模、可直接使用的数据集，并配有标准化指标和基线模型。然而，关注准确性使得理解与成本之间的权衡变得困难，尽管这是该领域中一个关键问题，因为该领域主要由求解器速度驱动。我们的工作通过明确地与误差匹配的传统求解器进行比较，得出一个单一可解释的值来解决这个问题。我们并非第一个考虑在评估学习方法时使用可变保真度经典求解器的研究，这在 PINN [27 (https://arxiv.org/html/2605.15399#bib.bib26),11 (https://arxiv.org/html/2605.15399#bib.bib28)] 和（更具相关性的）神经算子 [22 (https://arxiv.org/html/2605.15399#bib.bib25)] 中已有先例。后者证明了同时考虑成本和准确性的重要性，以及需要与有效、适用且针对特定问题的求解器进行比较；这些批评直接促使我们开发一个成本感知的基础来评估神经 PDE 求解器。McGreivy 和 Hakim [22 (https://arxiv.org/html/2605.15399#bib.bib25)] 还推荐了我们在本工作中使其实用并称之为“盈亏平衡复杂度”的指标；据我们所知，该指标既未被他们使用，也未被后续文献使用。除了框架和实证评估之外，我们还开发了一个名为 **BreakFlow** 的新型多障碍物流动基准。虽然存在几个流经物体的任务 [29 (https://arxiv.org/html/2605.15399#bib.bib18),5 (https://arxiv.org/html/2605.15399#bib.bib17)]，但我们的基准关键区别在于它是由 GPU 原生代码 PyFR [33 (https://arxiv.org/html/2605.15399#bib.bib32)] 生成的，从而能够在同一设备类型上直接且公平地与神经网络训练和推理进行比较。 ## 3 盈亏平衡复杂度 我们关注的是求解形式为 ∂ₜu(t,x) = L_θ[u](t,x) 的 θ 参数化 PDE，初始条件为 u(0,x) = u_θ(x)，边界条件为 B_θ[u|∂X](t,x) = 0，定义域为 X ∋ x，设计变量 θ 参数化微分算子 L_θ、初始条件 u_θ 和边界条件 B_θ。PDE 求解器的目标是输出一个在 X 上的近似解 û_θ，近似质量通过比较高保真度参考解或采用 PDE 残差来评估。传统上，瞬态 PDE 是通过我们称之为“经典”求解器的方法求解的，这些求解器通常先在空间和时间上进行离散化，然后在生成的网格上求解一系列数值问题。我们将使用这类求解器来生成我们的数据和高保真度参考解，以便进行评估。 ### 3.1 神经 PDE 求解器 神经 PDE 求解器是指函数 û_θ(t,x) 在特定时空点的值使用神经网络 f_w 计算，其中权重 w ∈ ℝⁿ，即 û_θ(t,x) = f_w(θ,t,x)。它们通常通过从某个在 Θ 上的分布 D 中采样一组 N_data 个点 θ_i (i=1,...,N_data)，用经典方法计算每个点对应的“真实”解 u_i，然后训练 f_w 来逼近这些解。我们将通过归一化均方根误差（nRMSE）‖û_θ - u_θ‖₂ / ‖u_θ‖₂ 来评估学习型求解器（以及其他非参考求解器）的性能，该误差相对于地面真值参考解计算，并在 θ∼D 的留出测试集上取平均。这可以作为该方法在解决下游任务（例如在定义域 Θ 上的反问题）时性能的一个不完美指标。 ### 3.2 动机：神经求解器在何处使用？ 神经 PDE 求解器最具前景的科学工作负载涉及对相关 PDE 进行**重复**的向前求解，通常是为了优化某个任务指标。例如，解决一个具有像 θ⋆ ∈ arg max_{θ∈Θ} J(θ; u_θ) 这样目标的设计优化或反问题任务，通常需要在不同的 θ 值下进行多次向前求解，而通过学习型求解器实现的加速可能在此处发挥作用。为了量化这一点，假设 N 次具有精度 ε 的向前 PDE 求解足以将目标优化到一个可接受的值。那么，我们接下来要回答的问题是，为此使用经典求解器还是神经求解器更好。 ### 3.3 盈亏平衡复杂度 该设置的一个关键特征是神经 PDE 求解器 f_w 的前期成本，它由两部分组成：(i) 生成数据的成本和 (ii) 在该数据上训练模型的成本。由于数据生成成本可以合理地假设为与训练点数 N_data 呈线性关系，我们将数据生成成本写为 C_gen N_data，其中 C_gen 是通过经典求解器生成一条训练轨迹的平均成本。然后，我们将总的前期训练成本定义为 B := C_gen N_data + C_train，其中 C_train 是所有训练步骤的总成本。B 可解释为我们为创建一个可部署的神经求解器而投入的预算。令 ε_B 表示由此模型实现的（最坏情况或平均）误差。现在，如果我们的下游任务需要 N 条具有误差 ε_B 的轨迹来解决，那么花费在该任务上的总成本将是 B_total := B + C_inf N，即前期训练成本 B 与总推理成本 C_inf N 之和，其中 C_inf 是使用 f_w 进行一次推理的成本。 参见图注 图 1: 盈亏平衡复杂度定义的图解，以 FFNO 和 Poseidon-T 在纳维-斯托克斯方程上的应用为例。对于固定的训练预算 B=1000，学习型求解器模拟 N 条轨迹的总成本为 B_total = B + C_inf N，而误差与学习型精度 ε_B 匹配的最廉价经典配置的成本为 C_{δ_B} N。这两条线的交点（如果存在）出现在 N⋆(B) = B / (C_{δ_B} - C_inf) (公式 1) 处，我们将此定义为盈亏平衡复杂度。对于任何需要比此更少推理调用的问题，我们倾向于使用经典求解器。 参见图注 图 2: 预算最优误差的缩放景观示例，使用在 Gray-Scott 上训练的 Poseidon-B，并改变训练轨迹（数据生成）和优化步骤之间的分配。我们为小预算最优值拟合一个模型，并外推到更大的预算，以估计在每个 B 下可达到的最佳误差。