神经算子 – 将流行的神经网络转化为神经算子，用于科学建模
将神经网络扩展至函数空间：虽然许多现象本质由函数描述，但神经网络定义的是向量到向量的映射，依赖输入和输出的固定离散化。而神经算子定义了可学习的函数到函数映射，可确保在不同输入输出函数离散化下输出一致。通过尊重数据的函数性质，神经算子能够实现更优的性能和泛化能力。
将深度学习的成功迁移至算子学习：神经网络架构的精心设计是深度学习成功的关键因素。将这些架构转化为神经算子，对于算子学习能享有同样的经验优化至关重要。我们关于神经算子的新介绍（https://arxiv.org/abs/2506.10973）已正式发表在 @NatMachIntell。内容包括：构造神经算子的关键原则、将流行架构（CNN、GNN、Transformer 等）转化为神经算子的配方、从业者指南。
联合工作：@julberner @mliuschi @JeanKossaifi Valentin Duruisseaux Boris Bonev @Azizzadenesheli @Caltech

将神经架构扩展至函数空间以实现算子学习的若干原则性方法

来源：https://arxiv.org/html/2506.10973
Julius Berner¹，Miguel Liu-Schiaffini²¹¹脚注：1，Jean Kossaifi¹，Valentin Duruisseaux²，Boris Bonev¹，Kamyar Azizzadenesheli¹，Anima Anandkumar²
¹NVIDIA ²加州理工学院

摘要

许多科学问题，例如由连续时间动力系统和偏微分方程（PDE）描述的问题，天然是在函数空间上表述的。虽然函数空间通常是无限维的，但深度学习主要通过计算机视觉和自然语言处理中的应用取得进展，这些应用聚焦于有限维空间之间的映射。数据性质上的这种根本差异，限制了神经网络在科学应用中达到其他领域那样的成功水平。神经算子是将神经网络推广到函数空间之间映射的一种原则性方法，为在科学问题上复制深度学习的变革性影响提供了途径。例如，神经算子可以学习整类 PDE 的解算子，如具有不同边界条件、系数函数和几何形状的物理系统。深度学习成功的一个关键因素是通过大量经验测试对神经架构进行的精心设计。将这些神经架构转化为神经算子，使得算子学习能够享受相同的经验优化。然而，先前的神经算子架构往往是作为独立模型引入的，并未直接作为现有神经网络架构的扩展而推导出来。在本文中，我们识别并提炼了构建无限维函数空间之间映射的实用实现的核心原则。利用这些原则，我们提出了一种配方，可将多种流行的神经架构转化为神经算子，且修改最小。本文旨在指导从业者完成这一过程，并详细说明使神经算子在实践中生效的步骤。¹我们的代码可在 github.com/neuraloperator/NNs-to-NOs 获取。

1 神经算子导论

在许多科学和工程应用中，数据来源于一个潜在函数，我们仅能获得该函数在不同分辨率下的离散化。我们希望开发尊重数据函数性质的深度学习模型，即模型对离散化和分辨率不敏感。过去十年，深度学习在计算机视觉、语音和自然语言处理等领域带来了前所未有的进步。继此成功之后，深度学习有望对自然科学产生或许更大的变革性影响。尽管所有这些领域的基础数据具有截然不同的结构，但驱动深度学习的标准模型——神经网络——以统一的方式处理数据：即有限维向量形式的加工版本。例如，这些向量可以是图像和视频的像素表示、语言的词嵌入，或物理系统的测量值。然而，许多令人感兴趣的物理现象本质上是通过连续描述来捕捉的。描述流体与热力学、连续介质力学或电磁学等物理量依赖于连续变量，如空间和时间坐标。数学上，这些量被表示为依赖于连续变量的函数，其行为通常由微分方程来建模，这些微分方程描述了物理量及其导数之间的关系。例如，我们可以描述一个给定物理系统的随时间演化，如某个区域内的热分布。这自然引出了根据系统的初始条件（即初始函数）来预测给定时间后物理系统（即解函数）的任务。计算机视觉中的常见任务本质上也是在函数上定义的，因为底层的自然场景或物体依赖于时空变量。图像或视频仅以一定分辨率捕捉了离散版本；例如，图像是对二维函数的离散化。虽然经典神经网络可以处理连续量的离散化（如在网格或网格上），但它们要么依赖于固定的离散化，要么无法泛化到未见过的分辨率。然而，我们希望神经网络的作用对离散化的具体选择和分辨率保持不变²。此外，在许多应用中，输出必须是一个可以在任意坐标处查询的函数，以便进行进一步操作（如微分和积分）。为此，神经网络最近被推广到了所谓的神经算子。神经算子天然被表述为作用于函数而非向量。特别是，通过构造，它们输出可以在任意坐标处查询的函数，并且这些函数在不同输入函数离散化下保持一致；更精确地说，输出仅相差一个离散化误差，该误差随着离散化的细化而消失。这种对底层离散化不敏感的特性，使得在底层数据由连续描述捕捉的各种任务中，能够学习函数到函数的映射以及多尺度现象。这已在系列实际应用中带来了显著改进的性能和泛化能力，以及强大的功能，如零样本超分辨率。这些进展反过来又激发了开发不同神经算子架构和训练范式的极大兴趣。神经算子的日益普及也导致了专用 Python 库的开发，如 NeuralOperator 库（Kossaifi et al., 2024），以及这些方法的大规模基准测试（Ohana et al., 2024）。
使用神经网络表示连续函数，称为隐式神经表示或神经场，已有悠久历史（Lagaris et al., 1998）。特例包括物理信息神经网络（PINNs）（Raissi et al., 2019），其中神经网络通过优化参数减少与支配方程的偏差来逼近偏微分方程（PDE）的解函数。在神经算子引入后不久，图形学和计算机视觉中的 3D 场景也类似地使用神经辐射场（NeRF）来表示（Mildenhall et al., 2020; Sitzmann et al., 2020; Jeong et al., 2022）³。在这两种情况下，神经网络表示的是单个函数，即单个 PDE 解或单个 3D 场景。相比之下，神经算子可以看作是神经场的推广，因为它们对于任何给定的输入函数都能输出一个函数；它们不是表示单一函数，而是可以学习作用于函数的算子。换句话说，神经算子可以看作是以不同输入函数为条件的条件神经场（Azizzadenesheli et al., 2024）。或者，可以将隐式神经表示以输入函数空间的（给定或学习到的）有限维参数化的参数为条件（Chen et al., 2022; Serrano et al., 2023）。虽然这可以视为编码器-解码器神经算子的特例（见第 3.6 节），但神经算子更为通用，可以基于点值处理输入和输出函数，无需参数化。

贡献

在这项工作中，我们识别并提炼了构建神经算子的核心原则，使其成为函数空间之间参数化映射的实用且原则性的实例化。利用这些原则，我们进而提出了一种配方，可将流行的神经架构以最小修改转化为神经算子。本文旨在指导从业者完成这一过程，并详细说明在实践中成功设计和应用神经算子的步骤。

1. 我们识别并论证了神经算子的主要设计原则，以及这些原则对于适定算子学习的必要性（第 2 节）。特别是，神经算子是函数空间之间的映射，由有限数量的参数参数化。它们应当对离散化不敏感，并且能够以任意低的误差逼近任何足够正则的算子。
2. 利用神经算子的设计原则，我们建立了一套自然地将成功架构和层扩展到函数空间的配方，我们在第 3 节中详细阐述，并在第 3.8 节中总结。我们还在第 3 节中演示了许多流行的神经算子架构可以使用此程序构建。在此过程中，我们也对现有的神经算子架构和层进行了分类。具体来说，我们展示了
   • • 多层感知机（第 3.1 节）可以通过将其权重和偏置参数化为可学习的函数，转换为积分变换。
   • • 卷积神经网络（第 3.3 节）可以通过将核参数化为可学习的函数，转换为卷积积分算子。
   • • 图神经网络（第 3.4 节）在聚合时使用求积权重并使用域的子树来定义邻域时，变为对离散化不敏感的图神经算子。
   • • Transformer 中的自注意力（第 3.5 节）可以使用与图神经网络类似的策略，变为分辨率不敏感的自注意力。
   • • 编码器-解码器神经网络架构（第 3.6 节）可以通过对编码器和解码器都使用参数化函数类，推广到函数空间。
     我们还展示了神经算子架构的其他关键构建块（如逐点算子、位置编码和归一化）如何类似地从其有限维对应物中构造出来。
3. 我们在第 4 节中概述了训练神经算子的重要实践考虑。虽然深度学习的许多最佳实践也直接适用于神经算子，但我们更详细地讨论了在函数空间上使用数据和物理损失（第 4.1 节），以及在算子学习背景下的数据增强、优化和自回归建模（第 4.2 节）。
4. 我们调研了在各种科学和工程应用中成功设计和使用的神经算子架构的多样化景观（第 5.1 节）。
5. 最后，我们进行了实证实验（第 5.2 节），以说明神经算子某些设计选择的重要性，例如固定相对于底层域的感受野，以及使用求积权重进行聚合。我们还分析了多分辨率训练和不同插值策略的效果。
   更技术性的数学细节特意推迟到附录中，以增强呈现的清晰性并优先考虑直观理解。我们建议读者参考 Kovachki et al. (2023); Boullé & Townsend (2023); Kovachki et al. (2024b); Subedi & Tewari (2025) 以获取更理论性的处理。

2 从离散到连续：在函数空间上学习

参照图注：图 1：神经算子的示意图。输入是一个函数 f ∈ F，可以在不同的离散化 (x_i){i=1}^{n} 上给出。输出是一个函数 g ∈ G，可以在不同的点 (y_j){j=1}^{m} 处查询。
经典神经网络旨在近似函数 x ⟼ f(x)……