神经算子的共形预测：物理模拟中的无分布不确定性量化

# 物理模拟中无分布不确定性量化
来源：https://arxiv.org/html/2606.09923
## 面向神经算子的保形预测：物理模拟中的无分布不确定性量化

（2026年6月）

###### 摘要

神经算子，如傅里叶神经算子（FNO），已成为求解偏微分方程（PDE）的强大代理模型，其加速比相较传统数值求解器可达数个数量级。然而，将这些模型部署于安全关键的工程应用——例如电子元件的热管理和电池系统——不仅需要精确的点预测，还需要*严格的不确定性保证*。现有的针对神经算子的不确定性量化（UQ）方法，包括蒙特卡洛Dropout和深度集成，仅提供相对不确定性估计，缺乏形式化的覆盖保证。在本工作中，我们首次将*分割保形预测*应用于基于神经算子的物理模拟，提供了无分布预测区间，并具有有限样本覆盖保证：\\(\\mathbb{P}\\bigl(Y\\in\\mathcal{C}(X)\\bigr)\\geq 1-\\alpha\\)。我们进一步引入了一种*归一化保形预测*方案，该方案利用MC Dropout不确定性产生自适应宽度的区间，在低不确定性区域生成更紧缩的区间，而在模型不确定的区域则生成更宽的区间。在稳态热传导基准上的全规模实验（3370万参数，800个训练样本，5个集成成员，NVIDIA V100）表明，在目标水平\\(\\alpha=0.1\\)下，我们的方法达到了89.1%的经验覆盖率，并产生了反映底层物理不确定性结构的空间自适应预测区间。我们还提供了一个不确定性分解框架，将认知不确定性（模型不确定性，可减少，占总数的68%）与偶然不确定性（数据噪声，不可减少，占总数的32%）分离，为数据收集和模型改进提供了可操作的指导。我们的方法已在开源平台上实现，并提供REST API端点和交互式3D可视化，展示了保形预测在工业物理模拟中的实际可部署性。

## 1 引言

人工智能正在迅速改变科学计算，学习型模拟器相比传统数值方法实现了 \\(10^2\\) 到 \\(10^4\\) 倍的加速比 (Karniadakis et al., 2021; Brunton et al., 2020)。物理模拟是现代工程设计的基石，能够实现从电子冷却到电池热管理等复杂系统的虚拟原型设计。传统的数值方法——有限元法（FEM）、有限体积法（FVM）和计算流体动力学（CFD）——通过对域进行离散化并迭代求解大型方程组来求解控制偏微分方程（PDE）。虽然精确，但这些方法的计算成本很高：单次模拟可能需要数分钟到数小时，而需要数百次模拟的设计空间探索则变得成本高昂。

神经算子 (Li et al., 2021b; Lu et al., 2021; Kovachki et al., 2023) 提供了一种范式转变，它们学习从输入场到输出场的*映射算子*，而不是为每个新配置求解PDE。傅里叶神经算子（FNO） (Li et al., 2021b) 在谱域执行全局卷积，实现了分辨率不变的预测，推理时间在毫秒量级——相比传统求解器提速 \\(10^2\\) 到 \\(10^3\\) 倍。

尽管取得了这些进展，但工业部署仍存在一个关键障碍：*不确定性量化*（UQ）。在诸如电池热管理等安全关键应用中，工程师不仅需要知道预测的温度，还需要知道该预测的置信度。例如，电池热管理系统必须保证电池单体最高温度以高概率保持在安全阈值以下，而不仅仅是在平均预测上满足该要求。

现有的神经网络UQ方法无法满足这一要求：

- • 蒙特卡洛Dropout (Gal and Ghahramani, 2016) 通过在推理时启用Dropout来提供不确定性估计，但所得区间缺乏形式化的覆盖保证，并且常常低估不确定性 (Ashukha and Vetrov, 2020)。
- • 深度集成 (Lakshminarayanan et al., 2017) 聚合多个独立训练模型的预测，但其区间的覆盖依赖于（不可验证的）假设，即集成能够充分覆盖预测分布。
- • 贝叶斯神经网络 提供了原则性的后验推断，但计算成本高昂，难以扩展到神经算子的参数规模（约3000万参数）。

保形预测 (Vovk et al., 2005; Shafer and Vovk, 2008; Angelopoulos and Bates, 2022) 提供了一种有吸引力的替代方案：它在不要求任何关于数据生成过程的假设（除可交换性外）的情况下，提供了无分布、有限样本的覆盖保证。给定一个包含 \\(n\\) 个样本的校准集，分割保形预测保证预测区间以至少 \\(1-\\alpha\\) 的概率覆盖真实值：

\\[ \\mathbb{P}\\bigl(Y_{n+1}\\in\\mathcal{C}(X_{n+1})\\bigr)\\geq 1-\\alpha. \\quad (1) \\]

在本文中，我们做出以下贡献：

1. 我们首次提出将*分割保形预测*应用于基于神经算子的物理模拟，为FNO在PDE解场上的预测提供了严格的覆盖保证（第4节）。
2. 我们引入了一种*归一化保形预测*方案，利用MC Dropout不确定性估计来产生自适应宽度的预测区间，在约束良好的区域实现更紧缩的区间，在模型不确定的区域则产生更宽的区间（第4.2节）。
3. 我们开发了一个*不确定性分解*框架，将认知不确定性（模型不确定性，可通过更多数据减少）与偶然不确定性（数据噪声，不可减少）分离，为模型改进提供可操作的指导（第4.3节）。
4. 我们在工业物理模拟基准——稳态热传导上验证了我们的方法，在目标水平 \\(\\alpha=0.1\\) 下展示了89.1%的经验覆盖率以及空间自适应区间，使用了全规模模型（3370万参数）并在NVIDIA V100上运行（第5节）。

## 2 相关工作

我们的工作处于人工智能三个活跃研究领域的交叉点：神经算子学习、不确定性量化和保形预测。

### 2.1 用于PDE的神经算子

神经算子学习无限维函数空间之间的映射，实现了分辨率不变的预测 (Kovachki et al., 2023)。FNO (Li et al., 2021b) 在傅里叶空间中对积分核进行参数化，以 \\(O(N \\log N)\\) 的复杂度实现全局感受野。FNO已应用于天气预报 (Pathak et al., 2022)、湍流模拟 (Stachenfeld et al., 2022) 和工业设计 (Kasim et al., 2022)。后续工作将FNO扩展到多尺度问题 (Li et al., 2022b)、时间动力学 (Li et al., 2022a) 和不规则几何 (Li et al., 2023)。DeepONet (Lu et al., 2021) 使用分支-干架构，而图方法 (Li et al., 2021a) 处理基于网格的问题。NVIDIA Modulus (NVIDIA, 2024) 提供了一个用于大规模模拟的工业框架。

### 2.2 深度学习中的不确定性量化

MC Dropout (Gal and Ghahramani, 2016) 将Dropout解释为近似贝叶斯推断。深度集成 (Lakshminarayanan et al., 2017) 使用不同初始化训练多个模型。Kendall and Gal (2017) 区分了认知不确定性和偶然不确定性，我们采用了这种分解。Hüllermeier and Waegeman (2021) 提供了不确定性类型的全面分类。Ashukha and Vetrov (2020) 表明MC Dropout常常低估不确定性，而Rahaman et al. (2021) 分析了集成多样性与准确性的权衡。

在物理模拟中，针对神经算子的UQ在很大程度上尚未被探索。Moli et al. (2023) 提出了用于神经算子UQ的归一化流，需要分布假设。Psaros et al. (2023) 调研了物理信息学习中的UQ，但注意到缺乏形式化的覆盖保证。Mishra and Molinaro (2022) 将保形预测应用于用于PDE的标准神经网络，但没有考虑神经算子或空间自适应区间。

### 2.3 保形预测

保形预测 (Vovk et al., 2005) 在可交换性假设下，提供了具有有限样本覆盖保证的无分布预测集。分割保形方法 (Papadopoulos et al., 2002; Lei et al., 2018) 使用保留的校准集，使其高效且易于实现。Romano et al. (2019) 引入了保形分位数回归用于自适应区间，Romano et al. (2020) 提出了无分布不确定性集。Sesia and Candès (2020) 比较了保形分位数回归方法。Angelopoulos and Bates (2022) 提供了全面的介绍，Fontana et al. (2023) 回顾了理论和开放挑战。

保形预测已应用于图像分割 (Angelopoulos et al., 2021)、时间序列 (Xu and Xie, 2021) 和分子性质预测 (Sun et al., 2022)。Gibbs and Candes (2021) 将保形预测扩展到分布漂移设置。然而，据我们所知，*尚无先前工作将保形预测应用于基于神经算子的物理模拟*。

## 3 预备知识

### 3.1 问题设定

我们考虑学习参数化PDE的解算子问题。设 \\(\\mathcal{D}\\subset\\mathbb{R}^d\\) 为一个有界域，\\(\\mathcal{A}\\) 为一个参数空间。给定一个参数场 \\(a\\in\\mathcal{A}\\)（例如，热导率、热源），PDE解 \\(u\\in\\mathcal{V}\\) 满足：

\\[ \\mathcal{N}(u;a)=0 \\quad \\text{in } \\mathcal{D}, \\quad (2) \\]

其中 \\(\\mathcal{N}\\) 是微分算子，\\(\\mathcal{V}\\) 是解空间。目标是学习将参数映射到解的算子 \\(\\mathcal{G}^\\dagger: \\mathcal{A}\\to\\mathcal{V}\\)。

在实践中，我们在网格 \\(\\{x_1,\\ldots,x_N\\}\\subset\\mathcal{D}\\) 上离散化域，并将参数场和解场表示为张量 \\(A\\in\\mathbb{R}^{c_{\\text{in}}\\times H\\times W}\\) 和 \\(U\\in\\mathbb{R}^{c_{\\text{out}}\\times H\\times W}\\)，其中 \\(c_{\\text{in}}\\) 和 \\(c_{\\text{out}}\\) 是输入和输出通道数，\\(H\\times W\\) 是空间分辨率。

### 3.2 傅里叶神经算子

傅里叶神经算子（FNO） (Li et al., 2021b) 通过一系列谱卷积层来近似解算子 \\(\\mathcal{G}^\\dagger\\)。每一层 \\(l\\) 计算：

\\[ v^{(l+1)} = \\sigma\\Bigl(W_l v^{(l)} + \\mathcal{K}_l(v^{(l)}) + b_l\\Bigr), \\quad (3) \\]

其中 \\(W_l\\) 是局部线性变换，\\(b_l\\) 是偏置，\\(\\sigma\\) 是非线性激活函数（GELU），\\(\\mathcal{K}_l\\) 是谱卷积算子：

\\[ \\mathcal{K}_l(v) = \\mathcal{F}^{-1}\\Bigl(R_l \\cdot \\mathcal{F}(v)\\Bigr). \\quad (4) \\]

这里，\\(\\mathcal{F}\\) 和 \\(\\mathcal{F}^{-1}\\) 表示二维快速傅里叶变换及其逆变换，\\(R_l\\in\\mathbb{C}^{c_{\\text{mid}}\\times c_{\\text{mid}}\\times k_{\\max}\\times k_{\\max}}\\) 是可学习的复数权重，仅应用于最低的 \\(k_{\\max}\\) 个傅里叶模式（低通滤波）。

完整架构为：

\\[ \\hat{U} = \\mathcal{P} \\circ L \\circ \\cdots \\circ L \\circ \\mathcal{L}(A), \\quad (5) \\]

其中 \\(\\mathcal{L}: \\mathbb{R}^{c_{\\text{in}}} \\to \\mathbb{R}^{w}\\) 是提升层，\\(\\mathcal{P}: \\mathbb{R}^{w} \\to \\mathbb{R}^{c_{\\text{out}}}\\) 是投影层，\\(L\\) 表示傅里叶层（公式 (3)）。

为了通过MC Dropout进行UQ，我们在每个谱卷积后引入Dropout层：

\\[ v^{(l+1)} = \\sigma\\Bigl(\\text{Dropout}\\bigl(W_l v^{(l)} + \\mathcal{K}_l(v^{(l)})\\bigr) + b_l\\Bigr), \\quad (6) \\]

其中Dropout在训练和推理期间（用于MC采样）以概率 \\(p\\) 应用。

### 3.3 分割保形预测

分割保形预测 (Papadopoulos et al., 2002) 构建具有无分布覆盖保证的预测区间。给定：

- • 一个训练好的模型 \\(f: \\mathbb{R}^d \\to \\mathbb{R}\\)，产生点预测 \\(\\hat{y}=f(x)\\),
- • 一个校准集 \\(\\{(x_i, y_i)\\}_{i=1}^n\\)，从数据分布中可交换地抽取，
- • 一个显著性水平 \\(\\alpha \\in (0,1)\\)，

步骤如下：

1. 对于每个校准样本，计算非一致性得分 \\(s_i = |y_i - f(x_i)|\\)。
2. 计算调整后的分位数 \\(\\hat{q} = \\text{Quantile}\\bigl(\\{s_1,\\ldots,s_n\\}; \\lceil (n+1)(1-\\alpha)\\rceil/n\\bigr)\\)。
3. 然后...