UFO: 一种无需域统一的操作符框架,用于通用操作符学习
摘要
介绍UFO,一种跨域神经操作符框架,能自适应地学习不同表示域上的操作符,实现与离散化解耦的预测,对分布偏移具有鲁棒性。
arXiv:2605.12700v1 公告类型:新
摘要:神经操作符已成为学习函数空间映射的有效框架,但大多数现有架构在单一表示域(如物理域、谱域或潜空间)内实现操作符。在这项工作中,我们引入了UFO(无需域统一的操作符),这是一种跨域神经操作符框架,通过在不同域上定义的表示之间的自适应、联合条件交互来实现操作符。UFO实现了离散化解耦:输入函数可以在与训练时不同的分辨率或位置被观测,而解可以在任意输出分辨率下被查询。在四个互补基准测试中,涵盖不连续输入、谱失配的不规则采样、非线性动力学和随机高频场,UFO在分布偏移下提供了准确、鲁棒且物理一致的预测。这些结果确立了跨域、相位调制实现作为离散化解耦神经操作符学习的强大框架。
查看缓存全文
缓存时间: 2026/05/14 06:17
# UFO:一种面向广义算子学习的无域统一算子框架
来源:https://arxiv.org/html/2605.12700
###### 摘要
神经算子已成为学习函数空间之间映射的有效框架,然而现有的大多数架构都是在单个表示域(如物理域、谱域或潜在空间)内实现算子。本文提出 UFO(无域统一算子),一种跨域神经算子框架,它通过在不同域上定义的表示之间的自适应、联合条件交互来实现算子。UFO 实现了离散化解耦:输入函数可以在与训练时不同的分辨率或位置上被观测,而解可以在任意输出分辨率上被查询。在四个互补的基准测试中(涵盖不连续输入、具有谱失配的不规则采样、非线性动力学以及随机高频场),UFO 在分布偏移下提供了准确、鲁棒且物理上一致的预测。这些结果确立了跨域、相位调制实现作为一种用于离散化解耦神经算子学习的强大框架。
\affiliation[label1] organization=Water and Mining Environment Unit, Geological Survey of Finland, addressline=Vuorimiehentie 5, city=Espoo, postcode=02151, country=Finland
\affiliation[label2] organization=Division of Applied Mathematics, Brown University, addressline=170 Hope Street, city=Providence, postcode=RI 02912, country=USA
\affiliation[label3] organization=Institute of Geosciences, University of Bonn, addressline=Kirschallee 1-3, city=Bonn, postcode=53115, country=Germany
## 1 引言
学习将函数映射到函数的非线性算子是科学机器学习中的一个核心问题,其应用涵盖流体力学、地球物理学、气候建模和材料科学 (Wen 等, 2022 (https://arxiv.org/html/2605.12700#bib.bib28); Pathak 等, 2026 (https://arxiv.org/html/2605.12700#bib.bib31); Choi 等, 2024 (https://arxiv.org/html/2605.12700#bib.bib29); Huang 等, 2024 (https://arxiv.org/html/2605.12700#bib.bib30); Azizzadenesheli 等, 2024 (https://arxiv.org/html/2605.12700#bib.bib12))。过去几年中,神经算子已成为一种强大的范式,用于直接从数据逼近参数偏微分方程 (PDE) 及相关无限维映射的解算子 (Lu 等, 2021 (https://arxiv.org/html/2605.12700#bib.bib1); Kovachki 等, 2023 (https://arxiv.org/html/2605.12700#bib.bib2))。
两类神经算子尤为具有影响力。深度算子网络 (DeepONets) 通过将算子分解为分支网络(编码输入函数)和主干网络(在查询的空间或时间坐标处评估解)来表示算子 (Lu 等, 2021 (https://arxiv.org/html/2605.12700#bib.bib1))。这种架构对于不规则几何、分散传感器以及物理信息约束具有灵活性。另一方面,傅里叶神经算子 (FNOs) 及相关的谱架构将卷积核嵌入傅里叶空间,从而能够高效学习全局交互并更好地处理高频模式 (Li 等, 2021 (https://arxiv.org/html/2605.12700#bib.bib5))。
尽管这两类架构在归纳偏置和结构上有所不同,但它们本质上都是在单个表示域内实现的。在 DeepONet 系列中,算子实现通过分支-主干表示在物理域中进行。相比之下,FNO 类型的方法通过全局傅里叶表示在谱域中实现算子。尽管取得了成功,这种单域公式引入了固有的局限性。例如,DeepONet 缺乏显式表示频率内容的机制,在学习与高度振荡解相关的算子时常常出现谱偏差 (Rahaman 等, 2019 (https://arxiv.org/html/2605.12700#bib.bib3); Wang 等, 2022 (https://arxiv.org/html/2605.12700#bib.bib4))。同时,FNO 类型的方法依赖于通常需要规则网格和固定谱表示的逆傅里叶变换,这可能限制其对异质域的适用性。另一个挑战在于融入物理信息约束,因为这些约束通常需要在物理域中进行显式导数评估 (Kovachki 等, 2023 (https://arxiv.org/html/2605.12700#bib.bib2); Li 等, 2024 (https://arxiv.org/html/2605.12700#bib.bib6))。
后续工作从几个互补方向解决了这些困难。近期的研究提高了谱表现力,以更好地捕捉高频、振荡或非光滑的解结构 (Zhu 等, 2023 (https://arxiv.org/html/2605.12700#bib.bib20); Peyvan 等, 2026 (https://arxiv.org/html/2605.12700#bib.bib21); Khodakaramie 等, 2026a (https://arxiv.org/html/2605.12700#bib.bib22); Cheng 等, 2025 (https://arxiv.org/html/2605.12700#bib.bib7); Jiang 等, 2024 (https://arxiv.org/html/2605.12700#bib.bib8); Sojitra 等, 2026 (https://arxiv.org/html/2605.12700#bib.bib9); Zhao 等, 2025 (https://arxiv.org/html/2605.12700#bib.bib24))。同时,规则网格的限制催生了针对不规则几何、非均匀网格和灵活输入格式的神经算子。这些机制主要依赖于学习到的几何变形、图或注意力机制表示,以及网格自适应结构 (Li 等, 2023b (https://arxiv.org/html/2605.12700#bib.bib16), a (https://arxiv.org/html/2605.12700#bib.bib15); Hao 等, 2023 (https://arxiv.org/html/2605.12700#bib.bib13); Fu 等, 2025 (https://arxiv.org/html/2605.12700#bib.bib19); Liu 和 Tang, 2025 (https://arxiv.org/html/2605.12700#bib.bib18); Yin 等, 2024 (https://arxiv.org/html/2605.12700#bib.bib25))。这些进展显著拓宽了神经算子在矩形网格和光滑解区域之外的应用范围。
评估过程中的分辨率不变性是神经算子的另一个关键动机。然而,现有架构仍然存在实际形式的离散化依赖:DeepONet 类型的模型通常依赖于一组固定的输入传感器,而 FNO 类型的模型则需要兼容的输入-输出网格表示。这限制了它们在密集测量成本高昂或不可用但需要高分辨率预测的场景中的使用。近期的几项工作旨在减少这种依赖,包括在潜在空间中学习算子 (Wang 和 Wang, 2024 (https://arxiv.org/html/2605.12700#bib.bib17); Kontolati 等, 2024 (https://arxiv.org/html/2605.12700#bib.bib26))、分辨率无关的神经算子 (Bahmani 等, 2025 (https://arxiv.org/html/2605.12700#bib.bib14))、拉普拉斯神经算子 (Cao 等, 2024 (https://arxiv.org/html/2605.12700#bib.bib27)) 以及超分辨率神经算子 (Wei 和 Zhang, 2023 (https://arxiv.org/html/2605.12700#bib.bib23))。
尽管取得了这些进展,大多数现有方法是通过在预定义的实现机制内进行架构增强来改善表现力、几何处理或分辨率迁移。特别是,来自不同来源或域的表征通常被单独编码,然后通过固定的融合规则(例如拼接、内积、插值或基于注意力的聚合)进行组合。这种机制丰富了模型可用的特征,但算子实现本身仍然受固定的组合方式支配。
受此观察启发,我们提出了 UFO(无域统一算子),一种跨域算子框架,其中算子通过不同域上定义的表示之间的不可分离、联合条件交互来实现。在这种观点下,算子实现不再是一个固定的映射,而是源自异质输入空间和解空间表示之间的自适应、相位调制耦合。
本文有三个主要贡献。首先,我们引入了一种新颖的算子实现机制——UFO。其次,我们开发了基础的 UFO 架构,包括一个谱编码器、一个空间基函数网络以及一个自适应相位调制耦合算子。该架构实现了离散化解耦,意味着输入函数可以在与训练时不同的分辨率或位置上被观测,而解可以在任意输出分辨率上被查询。第三,我们设计了一套互补的基准测试,不仅评估逐点精度,还评估谱一致性、结构相干性、泛化能力和分辨率行为。
具体来说,我们在四个互补的基准测试上评估 UFO:用于不连续输入谱偏差的 StepHeat,用于不规则采样和谱不匹配下平移一致性的 Delta-Helmholtz,用于双向外推下非线性结构保持的 Burgers,以及用于随机高频随机场算子的 GRF-Helmholtz。在这些设置下,UFO 在分布偏移下提供了准确、鲁棒且物理上一致的预测。
## 2 UFO 理论与架构
设 \(\mathcal{A}\) 和 \(\mathcal{U}\) 分别是定义在域 \(\Omega_{in}\) 和 \(\Omega_{out}\) 上的函数构成的巴拿赫空间。算子学习问题包括从有限个输入-输出函数对 \(\{ (f_i, \mathcal{G}(f_i)) \}\) 中逼近一个(可能非线性的)算子 \(\mathcal{G}: \mathcal{A} \rightarrow \mathcal{U}\)。神经算子是一个参数化映射族 \(\mathcal{G}_\theta\),旨在在 \(\mathcal{A}\) 的紧子集上一致逼近 \(\mathcal{G}\)。
UFO 中的解算子 \(\mathcal{G}\) 通过跨域表示之间的自适应相位调制耦合来实现,由此引出以下定义。
###### 定义 1(跨域算子学习)
如果一个神经算子 \(\mathcal{G}_\alpha\) 是通过在不同空间上定义的表示之间的不可分离、联合条件交互来实现的,即:
\[
\mathcal{G}_\alpha(f)(x) = \mathcal{C}_\alpha(\Phi_{\mathcal{S}}(x), \Psi_{\mathcal{H}}(f)), \qquad x \in \Omega_{out},
\]
其中 \(\Phi_{\mathcal{S}}(x) \in \mathcal{S}\), \(\Psi_{\mathcal{H}}(f) \in \mathcal{H}\), \(\mathcal{S} \neq \mathcal{H}\),且 \(\mathcal{C}_\alpha\) 是一个可学习的耦合,其实现联合依赖于这些表示,且不可约化为分别作用于每个表示的独立映射,则称该神经算子采用了跨域算子学习。
显然,定义 1 (https://arxiv.org/html/2605.12700#Thmdefinition1) 中的算子实现源自不同空间上定义的表征之间的自适应交互。DeepONet 类型的方法在单个物理域表示内实现算子,而 FNO 类型的方法在单个谱域表示内实现算子。因此,这两类都不属于跨域算子学习 (CDOL) 框架。
#### 备注
上述定义形式化了 UFO 引入的算子实现原则。它自然地允许在同一 UFO 框架内进行多域扩展。
### 2.1 UFO 架构
如图 1 (https://arxiv.org/html/2605.12700#S2.F1) 所示,上述原则通过三个紧密耦合的模块实现:用于输入域表示的谱编码器、用于解域表示的空间基函数网络,以及用于跨域实现的自适应相位调制耦合算子。图 1 (https://arxiv.org/html/2605.12700#S2.F1) 展示了 UFO 最小双域形式对应的架构。
参见图注 图 1:UFO 框架的架构。
#### 谱编码器 (SE)
SE 是 UFO 的核心组件,它在不同于物理空间的域中构建输入函数的全局表示。为此,我们引入一个可学习的、坐标条件化的 SE,它将输入函数映射到谱域中的一个表示。
设 \(f: \Omega \rightarrow \mathbb{R}^{d_f}\) 是一个在位置 \(\{x'_i\}_{i=1}^N \subset \Omega\) 上观测到的输入函数。SE 在 UFO 中构建输入域表示 \(\Psi_{\mathcal{H}}(f) \in \mathbb{C}^C\)。我们首先将 \(f\) 提升到更高维的潜在空间:
\[
\tilde{f}_i = \mathcal{L}_\theta(f(x'_i)), \quad \tilde{f}_i \in \mathbb{R}^{d_\ell},
\]
其中 \(\mathcal{L}_\theta\) 是一个可学习的线性提升映射。
然后对提升后的样本序列应用谱变换:\(\hat{f} = \mathcal{T}(\tilde{f})\)。在我们的实现中,\(\mathcal{T}\) 被实例化为一个基于 FFT 的变换,它为可学习表示提供了初始谱坐标系,而不是一个精确的离散化依赖的傅里叶展开。UFO 不依赖于任何特定的变换选择。
为了实现对离散化无关和分辨率不变的表示,谱系数进一步由一个坐标条件化的权重函数调制。具体来说,我们引入 \(\omega_\theta: \Omega \rightarrow \mathbb{R}^{d_\ell}\),并对每个采样位置 \(x'_i\) 进行逐元素调制:
\[
z_i = \omega_\theta(x'_i) \odot \hat{f}_i.
\]
然后通过均值聚合获得 \(f\) 的全局表示:
\[
\bar{z} = \frac{1}{N} \sum_{i=1}^N z_i,
\]
从而得到整个输入函数的全局谱摘要。在连续极限下,该操作可以解释为一种学习到的谱积分形式:
\[
\bar{z} \approx \int_{\Omega} \omega_\theta(x') \hat{f}(x') d\mu(x'),
\]
捕捉函数在谱域中的全局结构。这里 \(\mu\) 表示由输入离散化诱导的采样测度。
最后,我们通过对 \(\bar{z}\) 的实部和虚部分别应用非线性映射来学习一个谱表示:
\[
\Psi_{\mathcal{H}}(f) = \rho_r(\operatorname{Re}(\bar{z})) + i \rho_i(\operatorname{Im}(\bar{z})),
\tag{1}
\]
其中 \(\rho_r\) 和 \(\rho_i\) 是多层感知机。这一步将学习到的表示与任何特定的谱基(例如傅里叶基)解耦,使模型能够构建适应算子学习任务的表现力丰富的表示。
SE 与现有的神经算子构建有本质区别。它不是在固定域(例如纯物理域或纯谱域)内实现算子,而是在一个不同域中构建全局的、坐标条件化的表示。随后,它通过一个不可分离且相位调制的耦合算子与空间表示耦合。这一设计是 UFO 的核心:算子实现源自互补的输入域表示与解空间的空间表示之间的耦合,从而实现结构化的跨域交互。
#### 空间基函数网络
与输入函数的全局谱表示互补,相似文章
一种可逐部分训练的算子学习框架:桥接DeepONet与Karhunen-Loeve展开用于大规模应用
提出KL-DNN,一种可扩展的算子学习框架,利用Karhunen-Loève展开处理大规模PDE问题,在三维碳封存问题上实现了比DeepONet更低的误差和两个数量级的加速。
几何感知的神经算子事后不确定性量化
提出REEF-GP,一种事后不确定性量化框架,通过将高斯过程拟合到冻结神经算子的残差上并利用其内部嵌入,以低成本实现几何感知且校准的不确定性。
非线性算子及其导数的通用逼近
本文证明了在无限维空间中非线性算子及其导数的首个通用逼近定理,将经典结果扩展到DeepONet和PCA-Net等算子学习架构。
Operator Learning for Cubic Nonlinear Schr\"odinger Equation on Periodic Domains
本文提出了一种几何条件傅里叶神经算子(FNO),用于学习周期域上具有不同纵横比的立方非线性薛定谔方程的解算子。数值实验表明,该模型捕捉了有理环面和无理环面上不同的索伯列夫范数行为,展示了用于色散偏微分方程的几何感知神经算子。
可微分高效算子搜索
介绍了高效算子搜索(EOS),这是一个统一的可微分框架,将令牌缩减方法(剪枝、合并、池化、自适应重加权)泛化到共享算子空间,在预算约束下自动搜索最优算子组合。该方法在多个基准上取得有竞争力的结果,并揭示了一致的算子模式。