Operator Boosting 生成帕累托高效的 PDE 替代模型

# Operator Boosting 生成帕累托有效的 PDE 替代模型
来源: https://arxiv.org/html/2606.17460
\[orcid=0009\-0008\-6030\-7641\]\\cormark\[1\]

\\cortext

\[cor1\]通讯作者\.

1\]机构=计算学院, 佐治亚理工学院, 城市=亚特兰大, 州=GA, 国家=美国

2\]机构=数学与系统工程系, 佛罗里达理工学院, 城市=墨尔本, 州=FL, 国家=美国

###### 摘要

神经算子被广泛用作偏微分方程（PDE）的替代解算子映射，但在多查询科学工作流中，全尺寸模型可能存储、部署和评估成本高昂。本文引入 *Operator Boosting*，一种逐阶段残差学习框架，可以直接构建紧凑的神经算子替代模型，而非先训练大模型再压缩。该方法从归一化输出坐标中的经验均值预测器开始，在残差场上训练一系列同族小型神经算子，并通过验证选择的收缩系数将每个修正纳入集成。我们使用傅里叶神经算子（FNOs）、DeepONets 和卷积神经算子（CNOs）实例化该框架，并在来自 PDEBench、APEBench 和 The Well 的一维、二维和三维 PDE 基准上，将提升的小型堆栈与全尺寸单体基线进行比较。在 30 个数据集–架构对中，21 个显示出平均精度提升，17 个具有正置信区间，而所有提升堆栈的可训练参数数量减少了大约 72–95%。最佳模型比较表明，在 10 个已完成的 PDE 基准测试中，有 7 个实现了经验帕累托改进，包括二维纳维–斯托克斯方程、浅水动力学、达西流、一维输运与反应系统，以及三维可压缩纳维–斯托克斯方程。这些结果表明，Operator Boosting 通常能改善神经 PDE 替代模型的经验精度-参数帕累托前沿，同时也揭示了残差提升无法抵消压缩成本的 PDE 依赖型和架构依赖型情况。

###### 关键词:

神经算子\\sepPDE 替代模型\\sepOperator Boosting\\sep函数梯度提升\\sep参数效率\\sep科学机器学习

## 1 引言

偏微分方程（PDEs）是科学计算的核心，但在多查询场景（如设计优化、不确定性量化、反问题、控制、数字孪生和实时监控）中，重复的高保真模拟可能成本过高。神经算子通过学习函数空间之间的映射来应对这一瓶颈，使得训练好的替代模型能够近似整个解算子，而非单个有限维回归映射\[kovachki2023neuraloperator\]。像傅里叶神经算子（FNOs）、DeepONets 和卷积神经算子（CNOs）这样的架构因此成为 PDE 替代建模的标准工具\[li2021fourier,lu2021deeponet,raonic2023convolutional\]。

随着神经算子向可部署的科学工作流发展，相关的瓶颈不仅仅是预测保真度，还有模型大小、内存占用、吞吐量和硬件可用性。全尺寸的单体神经算子在存储和评估上可能成本高昂，尤其是对于高分辨率或三维场。这催生了基于因子化、张量化、多重网格结构、混合精度、剪枝、量化及相关压缩机制的参数高效算子学习方法\[tran2023factorized,kossaifi2024multigrid,tu2024guaranteed,han2016deepcompressioncompressingdeep,novikov2015tensorizingNeuralNetworks,lu2025tensorcompressedfullyquantizedtrainingneural\]。这些约束对于边缘和低 SWaP 科学系统尤其重要，在这些系统中，替代模型可能需要在靠近传感器、执行器或嵌入式控制器处运行，而非在集中式 GPU 服务器上\[howes2026realtimesensinginaccessiblephysical\]。

本文研究一种互补的参数效率途径。我们不是先训练一个大算子再压缩它，而是探究是否可以直接将紧凑替代模型构建为连续添加的小型神经算子的逐阶段堆栈。这一想法源于经典的提升方法，其中预测器是通过依次将每个新学习器拟合到当前集成的残差误差来构建的。对提升的函数梯度解释将其形式化为函数空间中的贪心优化，而平方损失提升自然简化为残差拟合\[mason1999boostingGradientDescent,friedman2001gradientBoostingMachine,buhlmann2003boostingL2Loss\]。对于 PDE 替代模型，这种观点表明，早期的小算子可能捕捉解映射中的主要粗略结构，而后续的残差算子则将容量集中在早期阶段留下的系统误差上，例如精细尺度特征、谱误差、边界效应\[shikhman2026one\] 或架构特定缺陷。最近对 FNO 的谱分析同样表明，残差修正可以恢复初始算子遗漏的信息\[qin2024betterunderstandingfourierneural\]。

我们引入 *Operator Boosting*，一个模型族无关的框架，用于从现有的神经算子架构构建参数高效的 PDE 替代模型。在实验中，该框架在每个架构族内分别应用：全尺寸 FNO 与提升的小型 FNO 堆栈比较，全尺寸 DeepONet 与提升的小型 DeepONet 堆栈比较，全尺寸 CNO 与提升的小型 CNO 堆栈比较。这种族内实验协议将逐阶段残差学习的效果与改变算子架构的效果分离开来。核心问题是，同质的提升堆栈能否相对于全尺寸单体基线改善部署相关的精度-参数帕累托前沿。这些结果不应被解读为残差提升普遍改善神经算子。而是表明，提升是一种简单的包装方法，通常能改善经验精度-参数权衡，而其失败则揭示了残差结构与可用的小型算子类不匹配的情况。

本文的贡献如下：

- •我们提出 *Operator Boosting* 作为 PDE 替代建模的逐阶段函数梯度框架，其中小型神经算子依次在残差场上训练，并通过验证选择的收缩系数加到集成中。
- •我们使用 FNO、DeepONet 和 CNO 基础学习器实例化该框架，通过族内比较分离提升过程与改变架构类的影响。
- •我们在来自 PDEBench、APEBench 和 The Well 的一维、二维和三维 PDE 基准上，评估提升的小型堆栈与全尺寸单体基线\[takamoto2022pdebench,koehler2024apebench,ohana2024thewell\]。
- •我们报告预测误差和可训练参数数量，强调经验精度-参数帕累托权衡，而非单独的相对 L^2 误差。
- •我们识别帕累托改进区域（提升堆栈以显著更少的参数实现可比或更低的误差）和失败区域（残差提升暴露了 PDE 或架构依赖的压缩极限）。

图1 (https://arxiv.org/html/2606.17460#S1.F1) 展示了全尺寸单体神经算子与 Operator Boosting 中使用的提升残差堆栈之间的区别。

输入场 \(a\) 全尺寸算子 \(G_{\mathrm{full}}^f\) 全预测 \(\widehat{u}_{\mathrm{full}}\) 单体基线
输入场 \(a\) 阶段2 \(H_2^f\) 阶段1 \(H_1^f\) 阶段M \(H_M^f\) \(\sum\) 提升预测 \(\widehat{u}_{\mathrm{boost}}\) \(\eta_1\) \(\eta_2\) \(\eta_M\) 提升堆栈
架构族 \(f \in \{\mathrm{FNO}, \mathrm{DeepONet}, \mathrm{CNO}\}\)
图1: Operator Boosting 将一个全尺寸单体神经算子替换为残差算子的相加堆栈。这里 \(a\) 表示输入场，\(G_0(a)=0\) 是归一化输出均值初始化器，每一阶段贡献一个验证收缩的修正 \(\eta_m H_m^f(a)\)，形成提升预测。

## 2 相关工作

### 2.1 用于 PDE 替代建模的神经算子

神经算子学习函数空间之间的映射，已成为 PDE 替代建模的标准方法，其目标是近似解算子，将系数、初始条件、强迫项或先前状态映射到解场\[kovachki2023neuraloperator\]。早期的基于图的公式包括图核和多极图神经算子\[anandkumar2019neural,li2020multipole\]。在广泛使用的架构中，DeepONet 通过分支和主干网络表示算子\[lu2021deeponet\]，而傅里叶神经算子在规则网格上学习全局谱更新\[li2021fourier\]，并通过学习变形扩展到更一般的几何形状\[li2023geofno\]。卷积神经算子为稳健的 PDE 学习提供了一种多尺度卷积替代方案\[raonic2023convolutional\]。像 PDEBench 这样的基准套件进一步标准化了跨 PDE 族的实证评估\[takamoto2022pdebench\]。在本工作中，FNO、DeepONet 和 CNO 作为代表性算子族，用于研究同质逐阶段残差提升能否在严重参数约束下改善 PDE 替代模型的精度-参数帕累托前沿。

### 2.2 集成、提升与残差学习

集成方法长期以来被用于通过组合多个学习预测器来提高预测精度和稳定性。早期的神经网络集成表明，聚合独立训练的模型可以降低泛化误差\[hansen1990neural\]，而 bagging 引入了自举聚合作为通用的方差减少策略\[breiman1996bagging\]。提升提供了一种更结构化的集成形式：它不是独立训练预测器，而是逐阶段构建一个加性模型，后一个学习器修正前一个的误差。这一思想源于 AdaBoost 文献\[freund1997decisionTheoreticBoosting\]，后来被解释为函数空间中的梯度下降\[mason1999boostingGradientDescent\]。Friedman 的梯度提升框架将提升形式化为通过将弱学习器拟合到伪残差进行的贪心函数逼近\[friedman2001gradientBoostingMachine\]，随机变体提高了鲁棒性和可扩展性\[friedman2002stochasticGradientBoosting\]。对于平方误差回归，使用 L_2 损失进行提升特别接近于残差拟合，因为每一阶段都被训练来逼近剩余的预测误差\[buhlmann2003boostingL2Loss\]。现代深度学习也大量使用了集成和残差原则：深度集成仍然是提高预测可靠性和不确定性估计的简单有效方法\[lakshminarayanan2017deepEnsembles\]，而残差网络表明学习加性修正可以使非常深的模型更容易优化\[he2016deepResidualLearning\]。Operator Boosting 将这种残差拟合原理转移到神经算子替代建模中，其中每个弱学习器本身都是一个将输入场映射到输出场的算子。

### 2.3 参数高效的科学机器学习

参数效率一直是科学计算的核心，因为高保真 PDE 和动态系统求解器对于重复评估、不确定性量化、控制或设计优化而言往往过于昂贵。经典降阶建模通过将高维动力学投影到紧凑的逼近空间来解决这个问题\[benner2015projectionModelReduction\]，而简化基方法为参数化 PDE 及相关场问题提供了经认证的低维替代模型\[chen2010certifiedReducedBasisMaxwell\]。在深度学习中，参数高效建模通过几种互补机制得到研究，包括从大型模型或集成的知识蒸馏到更小的学生模型\[hinton2015distillingknowledgeneuralnetwork\]，压缩神经网络的剪枝和量化流程\[han2016deepcompressioncompressingdeep\]，神经网络层的张量列表示\[novikov2015tensorizingNeuralNetworks\]，以及稀疏可训练子网络\[frankle2018the\]。更近期的科学机器学习工作将这些思想适应于神经 PDE 求解器和神经算子。因子化傅里叶神经算子通过因子化傅里叶表示降低了谱算子学习的成本\[tran2023factorized\]，而多网格张量化傅里叶神经算子结合了域分解和张量化参数表示用于高分辨率 PDE 替代模型\[kossaifi2024multigrid\]。混合精度神经算子旨在解决 FNO 类模型中的内存和吞吐量瓶颈，同时保留逼近保证\[tu2024guaranteed\]，而张量压缩、全量化的神经 PDE 求解器进一步说明了对部署导向的科学机器学习日益增长的兴趣\[lu2025tensorcompressedfullyquantizedtrainingneural\]。当前工作与这些压缩和效率策略是互补的。我们不是压缩一个训练好的全尺寸算子、改变数值精度或对单个单体架构施加低秩参数化，而是研究一个逐阶段的加性小型神经算子堆栈是否能直接改善经验精度-参数帕累托前沿。

## 3 问题设定

### 3.1 PDE 替代建模

令 \(\Omega \subset \mathbb{R}^d\) 表示空间域，令 \(a\) 表示指定 PDE 替代问题实例的输入场。根据基准的不同，\(a\) 可能表示初始条件、前一个解状态、系数场、强迫场或这些量的集合。目标场记为 \(u\)。目标是学习一个算子

\[
\mathcal{G}: \mathcal{A} \to \mathcal{U}, \qquad a \mapsto u,
\] (1)

从配对观测

\[
\mathcal{D} = \{(a_i, u_i)\}_{i=1}^N.
\] (2)

对于静态问题如达西流，\(a\) 是系数或渗透率场，\(u\) 是对应的解场。对于时间相关问题，我们构建单步或有限时间转移对，形式为

\[
a_i = \bigl(u(t_i), \Delta t_i\bigr), \qquad u_i = u(t_i + \Delta t_i),
\] (3)

这样学习到的算子近似一个时间推进映射。所有模型都在离散场上进行训练和评估，但替代学习的目标是算子值的：学习到的映射应逼近场之间的底层输入-输出关系，而非标量响应。

### 3.2 全尺寸基线与提升堆栈的比较

对于每个数据集和架构族 \(f\)，我们比较两个预测器。第一个是全尺寸单体神经算子，

\[
G_{\mathrm{full}}^f: \mathcal{A} \to \mathcal{U},
\] (4)

直接训练以预测归一化输出场。第二个是提升的小型同族神经算子堆栈，

\[
G_{\mathrm{boost}}^f(a) = G_0(a) + \sum_{m=1}^{M} \eta_m H_m^f(a),
\] (5)

其中每个 \(H_m^f\) 是一个小型神经算子，与全基线使用相同的架构族。