一种用于未知系数全非线性抛物型偏微分方程的零阶深度学习方法

# 一种用于系数未知的完全非线性抛物型偏微分方程的零阶深度学习方法 来源：https://arxiv.org/html/2606.24999

\\name闫伟佳\\emailyanweijia@cuhk\.edu\.hk \\addr香港中文大学系统工程与工程管理系 香港新界沙田\\name欧阳度\\emailduouyang99@outlook\.com \\addr清华大学数学科学系 北京 100084, 中国\\nameHuyên Pham\\emailhuyen\.pham@polytechnique\.edu \\addr法国巴黎综合理工学院CMAP实验室 帕莱索 91128\\name周迅宇\\emailxz2574@columbia\.edu \\addr哥伦比亚大学工业工程与运筹学系 & 数据科学研究所 美国纽约州纽约市 10027

###### 摘要

高维系数未知的偏微分方程在科学机器学习中广泛出现，包括连续时间强化学习，但以数据驱动的方式高效求解它们仍然具有挑战性。现有的深度学习求解器通常依赖重复的自动微分来评估微分算子，这可能导致不稳定性并在高维中放大导数误差，而基于随机表示的概型方法则需要显式知道数据生成动力学，因此不适用于黑箱环境。我们引入了两种类型的模拟器作为数据生成机制，并采用“先表示后学习”的方法，在底层PDE算子仅能通过模拟和逐点评估访问的设置下学习解及其导数。我们的导数表示依赖于扰动蒙特卡洛轨迹得出的零阶导数（ZOD）估计量。这种完全无模型的方法仅使用函数评估来生成梯度和Hessian网络的目标。我们提供了所提方法的统计学习分析，包括ZOD的偏差-方差权衡。假设底层算子具有标准的压缩性质，我们建立了一个非渐近误差界，将总误差分解为离散化误差、逼近误差、统计误差和ZOD偏差。关键的是，我们推导了在（加权）Sobolev空间中学习表示的样本复杂度，刻画了直到二阶导数的误差。数值实验展示了该方法在中等和高维中的竞争性能。

**关键词：** 非线性偏微分方程，零阶导数估计量，无模型方法，深度学习，Sobolev空间中的样本复杂度

## 1 引言

高维非线性偏微分方程在科学与工程的各个领域普遍存在且至关重要，从物理学和流体动力学到数理金融和随机控制。科学机器学习的最新进展采用深度神经网络进行高维函数逼近来求解PDE，旨在克服传统数值方法失效的维度诅咒。尽管已有各种深度学习方法被提出并取得了有希望的数值结果，但它们在稳定性、应用范围和理论基础可用性方面仍存在局限性。

广义上，现有方法可分为两大类。第一类是残基方法，例如深度Galerkin方法（cf. Sirignano and Spiliopoulos 2018 (https://arxiv.org/html/2606.24999#bib.bib23)）和物理信息神经网络（PINNs; cf. Raissi et al. 2019 (https://arxiv.org/html/2606.24999#bib.bib24)）。这些方法通过在时空采样点上最小化PDE残差来逼近解，适用于广泛类型的PDE。然而，它们依赖通过自动微分重复评估微分算子，可能面临优化困难和不稳定性问题，特别是在高维或涉及二阶导数时。第二类是概率方法，利用PDE的随机表示，特别包括基于倒向随机微分方程的方法，如深度BSDE（E et al., 2017 (https://arxiv.org/html/2606.24999#bib.bib27)）和深度倒向动态规划（DBDP; cf. Huré et al. 2020 (https://arxiv.org/html/2606.24999#bib.bib25)）。然而，这些方法主要针对特殊类型的非线性PDE，其中BSDE表示基于彭实戈的非线性Feynman–Kac公式（Peng, 1992 (https://arxiv.org/html/2606.24999#bib.bib3)）；具体来说，这些PDE关于Hessian是线性的。对于**完全**非线性PDE，即关于未知函数直到二阶导数非线性，此类表示通常不存在，限制了其适用性。¹¹¹我们参考Beck et al. (2023 (https://arxiv.org/html/2606.24999#bib.bib28)); Germain et al. (2023 (https://arxiv.org/html/2606.24999#bib.bib29)) 获取综述，并参考Zhang et al. (2026 (https://arxiv.org/html/2606.24999#bib.bib22)); Doumèche et al. (2025 (https://arxiv.org/html/2606.24999#bib.bib42)); Gazoulis et al. (2025 (https://arxiv.org/html/2606.24999#bib.bib43)); Bonito et al. (2026 (https://arxiv.org/html/2606.24999#bib.bib44)); Wang et al. (2022 (https://arxiv.org/html/2606.24999#bib.bib67)) 了解这两种方法的最新进展。

值得注意的是，大多数现有的数值求解PDE的文献，包括上述论文，都是“基于模型的”，即所研究的PDE是完全指定的，其系数函数假设已知并给定（因此这些系数的导数也是已知的）。然而，对**复杂**系统建模的PDE可能无法或难以指定，导致方程缺乏对底层算子及其系数导数的了解。这些PDE像黑箱一样运行，我们只能观察到某些输入-输出数据流。求解这些黑箱PDE的动机来源于丰富的实际应用，如流体湍流、气候控制和等离子体聚变反应堆的稳定化；参见例如Li et al. (2020 (https://arxiv.org/html/2606.24999#bib.bib4)); Jiao et al. (2021 (https://arxiv.org/html/2606.24999#bib.bib5)); Lagergren et al. (2020 (https://arxiv.org/html/2606.24999#bib.bib6)) 及其参考文献以获取更多激励性应用。这也与新近发展的连续时间强化学习（Wang et al., 2020 (https://arxiv.org/html/2606.24999#bib.bib2); Jia and Zhou, 2022a (https://arxiv.org/html/2606.24999#bib.bib12), b (https://arxiv.org/html/2606.24999#bib.bib13), 2023 (https://arxiv.org/html/2606.24999#bib.bib10)）相关，其中当底层控制问题的参数未知时，Hamilton–Jacobi–Bellman 方程成为一个黑箱PDE。

另一个重要方面是，除了获得PDE解的函数逼近外，通常还需要为下游任务找到其导数，例如在机器人系统中执行控制和在金融中进行对冲，这些涉及解对空间变量的敏感性。现有方法通常隐式地处理导数。例如，PINN和深度Galerkin采用“先学习后微分”的方法：他们训练一个神经网络以最小化基于值的损失，但这在理论上不能保证其导数会收敛到真实导数。因此，当通过在不完美训练的网络上的自动微分计算高阶导数时，逼近误差会累积，有时是灾难性的。另一方面，深度BSDE和DBDP要求方程系数已知且给定，并将梯度嵌入到特定模型的随机公式中。

本文中，我们提出了一种新的数据驱动方法，用于学习一大类完全非线性、黑箱抛物型PDE的解，并在（加权）Sobolev空间中直到二阶空间导数提供了强理论保证。这些PDE由线性二阶抛物算子和完全非线性源（非齐次）项组成，该项依赖于未知解直到其二阶导数。我们不从学习的值逼近或特定模型的灵敏度表示中间接恢复导数信息，而是采用“先表示后学习”的范式，其中导数量首先通过随机估计量表示，然后直接学习。这种方法一石二鸟：它同时处理未知PDE并学习导数。

本文的主要贡献之一是**精确定义**在我们求解PDE的上下文中“数据”和“数据驱动”的含义。我们不需要知道PDE系数的函数形式，只需要能访问一个“模拟器”，该模拟器在给定初始状态时，产生随机轨迹（即“数据”）。这些轨迹是扩散过程，或者等价地是随机微分方程的解，其无穷小生成元与前述抛物型PDE算子一致。此外，非线性源项和终端条件中的函数也是黑箱函数，当提供输入时，它们仅能输出其函数值。我们的方法在两种模拟器设置下适用：“弱模拟器”以初始状态为输入，每次查询生成一个独立同分布的随机轨迹；“强模拟器”返回一族轨迹，这些轨迹由给定的初始状态集索引，并由**相同**的底层随机性（在我们的设置中为布朗运动）驱动，同时在查询之间保持独立。弱模拟器和强模拟器的概念与SDE的弱解和强解的经典定义一致，并捕捉了它们之间的关键区别：强解是针对固定的布朗运动定义的，而在弱解中，布朗运动本身是解的一部分（cf. Karatzas and Shreve 2014 (https://arxiv.org/html/2606.24999#bib.bib46), 第5章，定义2.1和3.1）。显然，强模拟器自动是弱模拟器（但反之不成立），因为“随机种子”也是一个输入，因此用相同种子查询相同初始状态会产生相同轨迹。重要的是，强模拟器的可用性将基于模型的PDE作为特例涵盖在内。它也在诸如金融（其中“随机种子”代表实现的资产价格变动）和库存系统（代表外生需求）等应用中有效。注意，在两种情况下，模拟器仍然是一个黑箱，我们既不知道也不试图学习或推断其内部结构。²²²有一类研究称为算子学习，旨在通过输入-输出数据和DNN学习PDE解算子（cf. Lu et al. 2021a (https://arxiv.org/html/2606.24999#bib.bib1)），这本质上是一种基于模型的方法。相比之下，我们的方法是“无模型的”（就我们所研究的PDE形式而言），因为我们直接学习解而不学习PDE本身。

我们的方法结合了：(i) 近似值迭代，将非线性问题简化为一系列线性问题，每个问题实际上是一个Feynman–Kac型方程（等价于强化学习中的策略评估的Bellman方程）；(ii) 零阶导数（ZOD）估计量，通过随机扰动点上的函数值来逼近梯度和Hessian。在每次迭代中，我们通过一个复合损失函数**联合**学习值、梯度和Hessian，确保所有量之间的一致性。该损失函数由两部分组成：值损失和导数损失。值损失与连续时间强化学习中的策略评估的鞅损失函数（Jia and Zhou, 2022a (https://arxiv.org/html/2606.24999#bib.bib12)）精神相同，捕捉函数值的均方误差。导数损失捕捉梯度/Hessian网络与其随机ZOD目标之间的距离。关键的是，ZOD估计量仅需要扰动轨迹上的函数评估，不依赖模型导数或自动微分。

本文的主要贡献如下：
- • 我们引入了弱模拟器和强模拟器的概念，并开发了一种零阶深度学习方法，用于求解一大类完全非线性黑箱PDE。在每次迭代中，我们根据一种特殊设计的分布，用随机生成的初始状态查询可用的模拟器，并收集相应的轨迹。此外，我们仅依赖PDE中非线性源项的逐点评估，该源项是状态、函数值、梯度和Hessian的通用函数。因此，我们的方法产生了一种适用于黑箱环境的**无模型**算法，特别是不试图估计PDE系数。
- • 为了确保在（加权）Sobolev空间中的收敛性，我们引入了一种新颖的ZOD估计量用法，作为求解PDE背景下逼近梯度和Hessian的目标。一般来说，ZOD估计量是有偏且带噪声的，我们通过其带宽刻画了其独特的偏差-方差权衡。特别地，优化中ZOD的常规方差缩减技术（例如多点方案）在我们的设置中不够用，我们证明ZOD的方差只能通过强模拟器来有界，而不能通过弱模拟器。此外，通过使用ZOD，我们实质上首先推导了梯度和Hessian的一个（有偏）随机表示，然后分别为它们拟合两个神经网络。因此，这种“先表示后学习”范式与通过值逼近或模型特定灵敏度表示间接恢复导数的方法根本不同。值得注意的是，推导ZOD不需要自动微分或对算子的了解。
- • 最重要的是，我们在（加权）Sobolev空间中建立了所提学习方法的收敛性和样本复杂度，直至二阶导数。据我们所知，这些是关于完全非线性PDE的无模型学习的首批理论结果，并在二阶Sobolev空间中进行误差分析。我们的理论分析建立在几个关于PDE的标准假设和DNN的统计学习理论之上。一方面，我们要求解算子对关联线性PDE具有压缩性质。这一性质对于确保原始完全非线性PDE解的存在唯一性是典型的，并且对于大多数值迭代算法通常是必要的。另一方面，我们从分析中排除了优化误差，并假设神经网络类足够光滑和正则。在这些假设下，我们得到了一个刻画逼近误差、采样误差和ZOD偏差之间权衡的误差界。总误差包括一个指数衰减的初始化误差（以近似值迭代次数计）和一个几何加权的单步学习误差积累（定理6 (https://arxiv.org/html/2606.24999#Thmtheorem6)）。当ddd维状态过程在均匀时间网格上用NNN个网格点观察，并且样本大小为MMM时，我们的误差界（忽略关于ddd的低阶项）为

(这里定理6的陈述在接下来，但用户只给了到这里的文本。我们需要继续翻译直到用户提供的文本结束。用户提供的文本截断在“Our error bound (ignoring low-order terms in d) is”后，所以我们需要翻译截至该句子。后面可能还有公式，但用户没有提供，我们就翻译到此处。)

我们的误差界（忽略关于ddd的低阶项）为