面向多维函数逼近与随机场学习的层级RBF-KAN和RBF-SKAN架构

# 用于多维函数逼近和随机场学习的分层 RBF-KAN 和 RBF-SKAN 架构 来源：https://arxiv.org/html/2606.02936 \[orcid=0000\-0002\-2116\-4712\] url\]https://sites\.google\.com/nyu\.edu/mingtao\-xia/home \\credit Writing – review & editing, Writing – original draft, Visualization, Validation, Supervision, Software, Project administration, Methodology, Investigation, Formal analysis, Conceptualization 1\]organization=University of Houston, addressline=Philip Guthrie Hoffman Hall, 3551 Cullen Blvd, city=Houston, postcode=77204, state=Texas, country=United States of America 2\]organization=University of Birmingham, addressline=Watson Building, city=Birmingham, postcode=B15 2TT, state=, country=United Kingdom \[orcid=0009\-0009\-6685\-0861\] url\]https://www\.chg\.ox\.ac\.uk/people/qijing\-shen \\credit Writing – review & editing, Visualization, Software, Methodology, Investigation 3\]organization=University of Oxford, addressline=Henry Wellcome Building for Molecular Physiology, Old Road, city=Oxford, postcode= OX3 7BN, state=Oxfordshire, country=United Kingdom \\cortext \[1\]Corresponding author ###### 摘要 在本文中，我们提出并分析了一种采用径向基函数作为激活函数的分层 Kolmogorov–Arnold 神经网络架构，用于逼近确定性函数和随机场模型。具体而言，我们开发了用于多维确定性函数逼近的分层径向基函数 Kolmogorov–Arnold 网络（hierarchical RBF-KAN），以及用于随机场学习的分层径向基函数随机 Kolmogorov–Arnold 网络（hierarchical RBF-SKAN）。从理论角度来看，我们为这两种架构建立了通用逼近结果。特别地，我们推导了分层 RBF-KAN 的定量逼近估计，表明所提出的框架通过降低逼近问题的有效维度，有可能部分缓解高维函数学习中的维度灾难。此外，我们还证明分层 RBF-SKAN 可以在 Wasserstein-2 度量下逼近随机场模型。实验表明，我们提出的基于径向基函数的神经网络结构能够有效学习多元函数和随机场模型。 ###### 关键词: Radial Basis Function\\sepKolmogorov\-Arnold Neural Network\\sepUniversal Approximation Theorem\\sepStochastic Neural Network {highlights} 我们提出了分层 RBF-KAN 和分层 RBF-SKAN 架构，分别用于学习多维函数和随机场。所提出的分层层设计比现有的 RBF-KAN 和多层 RBF 神经网络架构提高了逼近精度，并且我们的分层 RBF-SKAN 框架优于流行的不确定性量化方法，如 CNF 和 CVAE 模型。我们为所提出的架构建立了通用逼近结果，表明分层 RBF-KAN 可以部分缓解多元函数逼近中的维度灾难，而分层 RBF-SKAN 则具备随机场学习的通用逼近能力。我们通过大量数值实验验证了所提出的方法，包括多维函数逼近、混沌动力系统重建和随机场学习任务。我们还证明，将 ResNet 技术融入多块分层 RBF-KAN 架构中，能够显著提高逼近精度和训练性能。 ## 1 引言 径向基函数神经网络（RBFNN）是一类前馈神经网络，在隐藏层使用径向基函数（RBF）作为激活单元，通常与线性输出层结合。RBFNN 通过对输入空间中选定中心点的 RBF 进行加权叠加来逼近目标函数，从而能够高效表示多元非线性映射，并具有强大的逼近保证。由于其局部化的激活结构，与全连接多层感知机相比，RBFNN 通常表现出更优越的优化和泛化特性，包括更快的收敛速度、对初始化的敏感性降低以及更好的可解释性。自奠基性工作建立其理论基础和实际公式以来（Broomhead and Lowe,1988 (https://arxiv.org/html/2606.02936#bib.bib3); Powell,1987 (https://arxiv.org/html/2606.02936#bib.bib23); Moody and Darken,1989 (https://arxiv.org/html/2606.02936#bib.bib19); Poggio and Girosi,2002 (https://arxiv.org/html/2606.02936#bib.bib22)），RBFNN 已被广泛应用于函数逼近、散乱数据插值、系统辨识、时间序列预测、分类以及偏微分方程的数值求解（Buhmann,2003 (https://arxiv.org/html/2606.02936#bib.bib4); Fasshauer,2007 (https://arxiv.org/html/2606.02936#bib.bib8)）。从理论角度看，单层 RBFNN 具有通用逼近性质；即在适当条件下，它们可以在紧致域上以任意指定精度逼近任意连续函数（Park and Sandberg,1991 (https://arxiv.org/html/2606.02936#bib.bib21); Poggio and Girosi,2002 (https://arxiv.org/html/2606.02936#bib.bib22); Wu et al.,2012 (https://arxiv.org/html/2606.02936#bib.bib25)）。这些结果为使用基于 RBF 的神经网络学习未知非线性映射提供了理论依据。除了浅层架构，最近越来越多的工作关注配备 RBF 激活的多层神经网络（Chao et al.,2001 (https://arxiv.org/html/2606.02936#bib.bib5); Zhao et al.,2019 (https://arxiv.org/html/2606.02936#bib.bib28); Jiang et al.,2022 (https://arxiv.org/html/2606.02936#bib.bib13)），这得益于深度架构在高维学习任务中的经验成功。与此同时，RBF 表示也被融入新兴的神经网络架构中（Chao et al. (2026 (https://arxiv.org/html/2606.02936#bib.bib6))），包括 Kolmogorov–Arnold 网络和相关的算子学习框架（Liu et al.,2025 (https://arxiv.org/html/2606.02936#bib.bib16)）。尽管基于 RBF 的神经架构在广泛应用中表现出强大的经验性能，但在学习复杂多元函数时，关于其逼近和表达能力特性的理论工作相对有限。特别是，描述深度和宽度如何影响逼近效率和表示能力的严格分析仍然较为稀缺。在本工作中，我们提出并分析了一种基于 RBF 的分层 Kolmogorov–Arnold 网络（hierarchical RBF-KAN）架构和一种基于 RBF 的分层随机 Kolmogorov–Arnold 网络（hierarchical RBF-SKAN），分别用于有效学习多维确定性函数和随机场。与之前的多层 RBF 神经网络（Jiang et al.,2022 (https://arxiv.org/html/2606.02936#bib.bib13)）不同，我们提出的分层 RBF-KAN 采用分层架构而非标准全连接层。此外，所提出的框架扩展了最近的 RBF-KAN 模型（Li,2024 (https://arxiv.org/html/2606.02936#bib.bib15); Chao et al.,2026 (https://arxiv.org/html/2606.02936#bib.bib6)），允许不同层具有不同数量的神经元并采用分层架构，旨在更忠实地再现 Kolmogorov–Arnold 表示结构。理论上和实验上均证明，这种分层架构对于有效学习多元函数至关重要。从理论角度来看，我们建立了定量逼近结果，关联了达到指定逼近精度所需的神经元数量。这些结果揭示了所提出的分层 RBF 神经网络架构如何能够随着输入维度的增加而部分缓解维度灾难。本文的主要贡献总结如下： - •我们提出了分层 RBF-KAN 和分层 RBF-SKAN 架构，用于高效学习多维函数和随机场。具体而言，所提出的 RBF-KAN 框架通过引入跨不同网络层的分层结构来泛化现有的 RBF-KAN 模型，其灵感来源于 Kolmogorov–Arnold 表示定理。与现有 RBF-KAN 和多层 RBF 神经网络架构相比，这种分层设计显著提高了多元函数的逼近精度。对于随机场重建，所提出的 RBF-SKAN 框架相比几种主流基于机器学习的不确定性量化方法（包括条件归一化流（CNF）和条件变分自编码器（CVAE）框架）表现出更优越的性能。 - •从理论角度来看，我们为所提出的 RBF 神经网络架构建立了逼近结果。特别地，我们证明了一个通用逼近定理，表明所提出的分层 RBF-KAN 可以部分缓解多元函数逼近中的维度灾难。我们还进一步证明了所提出的分层 RBF-SKAN 架构具备学习随机场模型的通用逼近能力。 - •我们通过一系列数值实验展示了所提出的 RBF 神经网络架构的有效性，包括多维函数逼近、动力系统重建和随机场学习。此外，我们还表明，将残差网络（ResNet）技术融入多块分层 RBF-KAN 中可以增强逼近精度和训练性能。 本文的其余部分组织如下。在第2节 (https://arxiv.org/html/2606.02936#S2)中，我们分别介绍了用于学习确定性函数和随机场模型的分层 RBF-KAN 和分层 RBF-SKAN 架构。具体而言，我们分析了它们的通用逼近性质，并讨论了我们提出的分层 RBF-KAN 框架如何能够部分缓解逼近多维函数中的“维度灾难”。在第3节 (https://arxiv.org/html/2606.02936#S3)中，我们通过一系列数值实验展示了所提出的分层 RBF-KAN 和分层 RBF-SKAN 的有效性，并将其性能与几种现有的基于 RBF 的神经网络进行比较。最后，在第4节 (https://arxiv.org/html/2606.02936#S4)中，我们总结了主要发现并概述了未来研究的潜在方向。 ## 2 我们提出的分层 RBF-KAN 和分层 RBF-SKAN 的通用逼近能力 在本节中，我们介绍所提出的分层 RBF-KAN 和 RBF-SKAN 架构，并分析它们的逼近性质。特别地，我们为使用所提出的 RBF-KAN 和 RBF-SKAN 框架高效表示多元确定性函数和随机场建立了通用逼近结果。具体而言，对于确定性函数逼近，与最近主要建立渐近通用逼近性质的 KAN 结果不同（chiu2026free），我们推导了定量逼近估计，将逼近误差与每层的神经元数量明确关联起来。这些结果表明，对于一大类多元函数，存在一种分层 RBF-KAN 架构能够降低逼近问题的有效维度，从而部分缓解维度灾难。 ### 2.1 分层 RBF-KAN 学习多元确定性函数的通用逼近定理 首先，我们考虑学习多元函数的问题 y\(x\)=u\(x\),x∈Ω⊆Rd。\\bm\{y}\(\\bm\{x}\)=u\(\\bm\{x}\),\\qquad\\bm\{x}\\in\\Omega\\subseteq\\mathbb\{R}^\{d}.\(1\)我们提出一种分层 RBF-KAN，如图1 (https://arxiv.org/html/2606.02936#S2.F1)所示，用于逼近等式 (1 (https://arxiv.org/html/2606.02936#S2.E1))。所提出的分层 RBF-KAN 与现有 RBF-KAN 架构（如Chao et al. (2026 (https://arxiv.org/html/2606.02936#bib.bib6))中的模型）之间的一个主要区别在于，所提出的分层 RBF-KAN 采用由两个不同激活层组成的分层“块”，而不是整个网络中具有统一神经元数量的全连接隐藏层。在一个块内，第一个后激活层中的神经元数量\(n2\)选择为\(2d\+1\)乘以第二个后激活层中的神经元数量，从而更忠实地再现等式 (8 (https://arxiv.org/html/2606.02936#S2.E8))中描述的 Kolmogorov–Arnold 表示。在整个工作中，我们使用以下高斯核作为每个神经元的 RBF 激活函数： B\(x\)≔exp⁡\(−x2\)。B\(x\)\\coloneqq\\exp\\\!\\left\(\-x^\{2}\\\right\).\(2\) 参见图注 图1：图1 (https://arxiv.org/html/2606.02936#S2.F1)展示了所提出的分层 RBF-KAN 的结构。面板 (a) 显示了一个单块分层 RBF-KAN，而面板 (b) 展示了一个多块分层 RBF-KAN 架构。注意，在面板 (a) 所示的单块分层 RBF-KAN 中，每个φi,j1\\phi\_\{i,j}^\{1}仅依赖于输入变量xix\_\{i}，而每个φi,j3\\phi\_\{i,j}^\{3}仅依赖于φi2\\phi\_\{i}^\{2}。因此，这两个激活层不是全连接（密集）层。分层 RBF-KAN 的每个块由两个激活层组成，其中激活函数BB是等式 (2 (https://arxiv.org/html/2606.02936#S2.E2))中定义的高斯核。在应用高斯激活函数之前，每个输入变量被复制l\\ell次。在面板 (a) 中，量φ⌊\(i−1\)/d⌋2\\phi\_\{\\lfloor\(i\-1\)/d\\rfloor}^\{2}被设计用于逼近在要学习的函数的第⌊\(i−1\)/d⌋th\\lfloor\(i\-1\)/d\\rfloor^\{\\text\{th}\}分量的 Kolmogorov–Arnold 表示（等式 (8 (https://arxiv.org/html/2606.02936#S2.E8))）中Φi−⌊\(i−1\)/d⌋\(2d\+1\)\\Phi\_\{i\-\\lfloor\(i\-1\)/d\\rfloor\(2d\+1\)}的输入，即∑q=1dφi−⌊\(i−1\)/d⌋\(2d\+1\),q\(xq\)\\sum\_\{q=1}^\{d}\\phi\_\{i\-\\lfloor\(i\-1\)/d\\rfloor\(2d\+1\),q}\(x\_\{q}\)。网络可以采用标准前馈传播策略或 ResNet 结构（He et al.,2016 (https://arxiv.org/html/2606.02936#bib.bib10)）进行前向传播。在图1 (https://arxiv.org/html/2606.02936#S2.F1)中，RBF 的尺度βik\\beta\_\{i}^\{k}和中心ci,jkc\_\{i,j}^\{k}都是可训练参数。前向传播可以遵循标准前馈架构或 ResNet 型结构。接下来，我们将分析所提出的分层 RBF-KAN（图1 (https://arxiv.org/html/2606.02936#S2.F1)）的逼近能力。为简单起见，我们假设： x∈Ω=\[−1,1\]d。\\bm\{x}\\in\\Omega=\[\-1,1]^\{d}.\(3\)参照Barthelmann et al. (2000 (https://arxiv.org/html/2606.02936#bib.bib1))，我们定义函数空间 Fkd=\{u:\[−1,1\]d→R\|Dαuis continuous for all α=\(α1,...,αd\)∈N0d with αi≤k\}，F\_\{k}^\{d}=\\left\\\{u:\[\-1,1]^\{d}\\to\\mathbb\{R}\\;\\middle\|\\;D^\{\\bm\{\\alpha}\}u\\text\{ is continuous for all \}\\bm\{\\alpha}=\(\\alpha\_\{1},\\dots,\\alpha\_\{d}\)\\in\\mathbb\{N}\_\{0}^\{d}\\text\{ with \}