多尺度算子学习的Frame Kernel Method

arXiv cs.LG 论文

摘要

论文提出了Frame Kernel Method,这是一种用于PDEs代理建模的新型多尺度算子学习方法。该方法利用核帧近似,并比流行的神经算子达到更高的精度,同时实现多尺度分解。

arXiv:2608.25084v1 Announce Type: new 摘要:我们提出一种原生的多尺度算子学习方法,用于(数值求解器的)多尺度偏微分方程(PDEs)的代理建模。该方法的主要创新在于一种新的多尺度核帧函数近似技术。利用这种新的核帧技术,我们将算子学习问题转化为学习输出函数的帧系数作为输入函数的帧系数的函数。然后,泛化步骤自动允许对输出函数进行多尺度分解。我们的方法适用于张量积网格和点云。我们给出了帧近似的插值证明、误差估计和数值收敛率。然后,我们展示了该方法在本质多尺度PDEs代理建模中的适用性。新的多尺度帧核方法在文献中的挑战性问题上明显比流行的神经算子更准确,同时在泛化后允许后验多尺度分解。
查看原文
查看缓存全文

缓存时间: 2026/08/27 09:32

# 多尺度算子学习的框架核方法  
来源:https://arxiv.org/html/2608.25084  

## 多尺度算子学习的框架核方法  

感谢:2026年8月17日提交给编辑。  

**作者**  
Branden Frieden††致谢:Kahlert School of Computing, University of Utah, Salt Lake City, UT 84112, USA。  
M. Keith Ballard  
33脚注标记:3  
Robert M. Kirby  
22脚注标记:2  
Varun Shankar††致谢:Kahlert School of Computing, University of Utah, Salt Lake City, UT 84112, USA。通讯作者。  

###### 摘要  
我们提出了一种原生的多尺度算子学习方法,用于多尺度偏微分方程(PDEs)的代理建模。我们方法的主要创新在于一种新颖的多尺度核框架函数逼近技术。利用这种新的核框架技术,我们将算子学习问题转化为学习输出函数的框架系数作为输入函数的框架系数的函数。泛化步骤随后自动实现输出函数的多尺度分解。我们的方法适用于张量积网格和点云。我们提出了框架逼近的插值证明、误差估计和数值收敛率。随后我们展示了该方法在固有为多尺度的PDE代理建模中的适用性。新的多尺度框架核方法在文献中的具有挑战性的问题上,显著优于流行的神经算子,同时在泛化时允许后验多尺度分解。  

###### 关键词  
框架核方法,多尺度核框架逼近,科学机器学习,多尺度算子学习  

###### 资金  
BF、RMK和VS获得了美国空军科学研究办公室(AFOSR)LRIR拨款FA9550-25-1-0042的支持。RW获得了AFOSR LRIR拨款24RXCOR005的支持。VS还获得了美国国家科学基金会数学科学部的资助,奖项编号2505986。  

## 1 引言  
许多应用需要进行数千或数百万次求解,用于设计、优化、不确定性量化、反问题、控制和数字孪生。代理模型通过从模拟或实验数据训练的、可快速评估的近似来替代这些重复的求解\[47, 28, 5, 45, 9, 29\]。算子学习更进一步,通过逼近函数空间之间的映射。神经算子使用神经网络参数化映射,有多种形式。例如深度算子网络(DeepONets)\[36\];傅里叶神经算子(FNOs),在傅里叶空间参数化非局部层\[33, 30\];核神经算子(KNOs),使用可训练的闭式核和求积法\[35\];以及Transolver和Transolver++,它们在通用(包括百万点)几何上使用物理感知注意力\[60, 38\]。基到基(B2B)算子学习通过学习输入和输出基以及系数映射,使表示问题显式化\[26\]。核方法为神经算子提供了一个引人注目的替代方案。Batlle等人将观测和恢复映射与有限维核回归相结合,并表明标准核可以与广泛使用的神经架构相竞争\[4\]。Turnage等人开发了一种补充的加权最小二乘理论,具有最优采样测度、稳定性保证和显式的有限维算子空间\[55\]。这些方法基于标量、向量和算子值核理论\[40, 27\],同时保留了一个关键的建模选择:用户选择输入和输出逼近空间(类似于B2B或DeepONets)。在每种情况下,表示直接控制学习映射的难度。这种选择对于多尺度PDE至关重要。异质介质、奇异摄动、湍流、多孔流动、复合材料和高频波产生相互作用的空间尺度,这些尺度可能相差几个数量级\[25, 16, 17, 18\]。算子学习方法最近才开始编码可比的结构。多小波和小波神经算子使用重复的多分辨率变换\[24, 54\];分层注意力神经算子解决了针对精细尺度的频谱偏差\[34\];M2NO将多小波与代数多重网格结合\[32\];局部子空间感知神经算子学习GMsFEM空间\[46\];MscaleFNO使用并行的缩放傅里叶分支来处理高度振荡的算子映射\[61\]。这些方法都认识到多尺度代理需要暴露相关尺度的表示。核算子学习允许我们直接施加这样的表示,而无需调整架构,但合适的多尺度空间并不明显。傅里叶基提供全局谱效率和正则网格上的快速变换,但通过频率编码尺度,最自然地拟合周期或矩形域\[53, 11, 33\]。小波和多小波在空间和频率上局部化,并支持稀疏的多分辨率表示,但需要细化结构、滤波器组或网格相关的工具\[14, 39, 13\]。分层有限元、样条和多重网格基处理复杂的PDE离散化,但通常继承网格连通性和协调性要求\[7, 8, 18\]。径向基函数(RBF)和核空间直接在散布的站点和一般几何上工作,但单一长度尺度无法提供显式的多尺度表示\[58, 19, 3\]。我们寻求直接关联到多个*空间长度尺度*的坐标,而不仅仅是频率分离。为了实现简单,我们还要求一种局部构造,无需修改即可应用于张量积网格、一般模拟网格的顶点和非结构化点云;精确插值采样数据;并在预测后暴露每个尺度。我们引入了一个多尺度核框架,由基于观测站点嵌套子集的紧支撑径向基函数构建,满足这些要求。每个级别使用不同的中心密度和支撑半径,所有级别形成一个有限的冗余字典。虽然早期的工作开发了多尺度再生核、紧框架展开和具有可变尺度的多级径向基函数算法\[43, 44, 59, 23, 31, 3\],但我们的构造在代数上和目的上有所不同:它不需要细化方程、正交或紧基、二进网格,也不需要顺序残差校正。相反,我们同时确定所有尺度系数。最细块中每个观测站点处的核平移保证了精确插值,而较粗的块增加了冗余性并产生按尺度索引的表示。相同的构造在规则网格和散布点上工作,无需网格连通性。我们建立了框架性质和其规范最小范数重建的精确插值性,然后从散布零点不等式推导出Sobolev误差估计。由此产生的基线本征空间速率无法解释为光滑目标观察到的显著更快的收敛速度。精确的诱导核解释将框架核识别为有限的多尺度自相关,并激发了一个与观察到的阶数一致的加倍本征空间猜想。接下来,我们将框架与Batlle等人\[4\]的核算子学习框架相结合,我们称之为*原始核方法*(VKM)。我们的*框架核方法*(FKM)在多尺度框架中表示每个输入和输出,逐级归一化输入系数,并按框架级别组织预测的输出系数。因此,FKM在显式多尺度坐标之间映射,而不是原始节点值。它使用相同的训练数据,但我们的基准测试显示,相对于VKM和竞争的算子学习方法(包括神经算子),预测误差减少了11–44个数量级。由于预测的系数保留了其框架级别组织,FKM还为每个预测提供了后验的、按尺度索引的分解。论文的其余部分组织如下。第2节定义多尺度核框架、其嵌套中心层次结构、所需的数值线性代数以及FKM。第3节证明精确插值,推导基线Sobolev估计,并陈述加倍阶猜想。第4节介绍框架逼近(第4.1节)和算子学习结果(第4.2节),包括按尺度分解的重建(第4.2.3节)。第5节总结结果并讨论未来方向。  

## 2 方法  
### 2.1 多尺度核框架逼近  
设Ω⊂ℝᵈ,并设X={xᵢ}ᵢ₌₁ᴹ⊂Ω表示一组采样点,其观测值uᵢ≈u(xᵢ),收集为**u**=[u₁,…,uₘ]ᵀ∈ℝᴹ。我们构建一个主中心集的嵌套层次结构,  
C₀=X⊃C₁⊃⋯⊃Cⱼ,Cⱼ⊂X。(1)  
级别0是最细的级别,而随着j增加对应于逐渐变粗的中心集。当需要额外的边界覆盖时,我们用一组辅助中心Gⱼ增广Cⱼ,并写Ξⱼ=Cⱼ∪Gⱼ。主集合Cⱼ保持嵌套,而辅助中心不需要属于X或满足嵌套关系。如果不使用边界增广,则Gⱼ=∅且Ξⱼ=Cⱼ。  
在级别j,令ρⱼ>0为支撑半径并定义  
ψⱼ,ₖ(x)=φ(‖x−ξⱼ,ₖ‖₂/ρⱼ),ξⱼ,ₖ∈Ξⱼ,k=1,…,Nⱼ,(2)  
其中Nⱼ=|Ξⱼ|。我们选择φ来自Wendland系列的紧支撑正定径向基函数\[56, 58, 19\]。多尺度逼近为  
û(x)=∑ⱼ₌₀ᴶ∑ₖ₌₁ᴺⱼcⱼ,ₖψⱼ,ₖ(x)。(3)  
可以引入外层级别权重,通过用wⱼψⱼ,ₖ替换ψⱼ,ₖ。我们在此省略它们,因为主要的尺度依赖性已经通过ρⱼ编码。由于C₀=X且较粗级别贡献额外的基函数,函数的总数N=∑ⱼ₌₀ᴶNⱼ通常超过观测数M。因此,表示是冗余的:一个采样函数可能由多个系数向量重现。这种冗余是有意的。最细级别在采样点提供足够的分辨率,而额外的级别允许表示在多个空间尺度上分布信息。这种冗余生成集的自然数学语言是框架。集合{aₙ}ₙ₌₁ᴺ⊂ℝᴹ是ℝᴹ的框架,如果存在常数0<A≤B<∞使得对所有**v**∈ℝᴹ有  
A‖**v**‖² ≤ ∑ₙ₌₁ᴺ⟨**v**, **aₙ**⟩² ≤ B‖**v**‖²。(4)  
冗余性由框架比N/M>1量化。  

##### 多尺度框架的构造  
对于每个级别j,我们选择ρⱼ=sⱼ·η,其中η>0控制支撑重叠,sⱼ是级别j上一个有代表性的局部间距。此量仅用于设置支撑半径,区别于收敛分析中使用的填充距离。在张量积网格上,我们取sⱼ为最小网格间距。对于一般点云,我们使用最近邻距离的中位数,  
sⱼ = median_{x∈Cⱼ} min_{x'∈Cⱼ\{x}} ‖x−x'‖₂,(6)  
它提供了局部采样尺度的稳健估计\[58, 10\]。  

##### 离散求值算子  
对于每个级别,定义稀疏求值矩阵Bⱼ∈ℝᴹˣᴺⱼ,  
(Bⱼ)ᵢ,ₖ = φ(‖xᵢ−ξⱼ,ₖ‖₂/ρⱼ)。(7)  
紧支撑意味着当‖xᵢ−ξⱼ,ₖ‖₂ > ρⱼ时(Bⱼ)ᵢ,ₖ=0。完整的求值矩阵是块拼接  
A = [B₀ B₁ ⋯ Bⱼ] ∈ ℝᴹˣᴺ。(8)  
我们使用k-d树范围搜索结构\[6\]实现的半径查询来组装每个块。对于查询点集X_q={x_{q,i}}ᵢ₌₁ᵠ,相同的构造给出  
B_{qj}∈ℝ^Qˣᴺⱼ,(B_{qj})ᵢ,ₖ = ψⱼ,ₖ(x_{q,i}),  
且A_q = [B_{q0} B_{q1} ⋯ B_{qJ}]。(9)  
对于系数向量**c**,在查询点处的求值为û(X_q)=A_q**c**。  

#### 2.1.1 嵌套中心选择  
主中心集满足C_{j+1}⊂Cⱼ⊂X。

相似文章

用于算子学习的神经均值与核校正

arXiv cs.LG

本文提出了一种结合神经网络均值与精确Matérn kernel校正的方法,用于偏微分方程中的算子学习,在结构力学和OCO-2辐射传输模拟等公开基准测试中达到了竞争性或改进的性能。