RecKAN：带有可学习递归多项式基的 Kolmogorov-Arnold 网络

# RecKAN：具有可学习递归多项式基底的 Kolmogorov–Arnold 网络
来源：https://arxiv.org/html/2609.01729
Amirhosein Azarpour 单位：计算机科学系 单位：沙希德·贝赫什提大学 单位：伊朗德黑兰 邮箱：[am\.azarpour@mail\.sbu\.ac\.ir](mailto:)

###### 摘要

Kolmogorov–Arnold 网络（KAN）将标准网络中固定的标量权重替换为每条边上可学习的单变量函数，但现有变体仍然固定这些函数所构建的*基底*：B样条、切比雪夫多项式、小波或雅可比多项式，并仅学习该基底上的组合权重。我们引入了 RecKAN，它通过二阶多项式递推关系 \(R_{n+1}(x) = (ax^{2} + bx + c)R_{n}(x) + (dx + e)R_{n-1}(x)\) 来定义基底本身，其五个系数与网络一起联合学习。我们证明，该递推关系可以恢复几种经典多项式族，包括两种切比雪夫多项式、斐波那契多项式、佩尔多项式和雅可比斯塔尔多项式作为特例，并证明其度在包含所有这些多项式的子族上精确地线性增长于 n，从而具体说明所学习的基底可以超越任何固定的经典选择。在涵盖图像、文本、生物医学时间序列分类和时间序列预测的多个基准数据集上，RecKAN 在所有分类任务上均优于三个参数匹配的 KAN 基线（基于切比雪夫、雅可比和样条），并在 ETTh1 预测基准上实现了最低的 MSE。此外，当用作卷积主干网络的分类头时，RecKAN 在 Fashion MNIST、CIFAR-10 和 SVHN 上比标准 MLP 头达到了更高的准确率。在合成函数拟合基准上，它跟踪了一个参数相当的 MLP 欠拟合的急剧振荡目标。我们进一步表明，所学习的递归系数是可解释的：在最需要局部结构的任务上，训练将基底移离了包含我们所识别的所有经典多项式族的线性度增长区间，这与我们关于这种结构变化所带来能力的理论分析一致。

关键词：Kolmogorov–Arnold 网络，递归多项式基底，可学习基底函数，多项式递推，函数逼近。

## 1 引言

多层感知机是通用函数逼近器 [1](https://arxiv.org/html/2609.01729#bib.bib1)、[2](https://arxiv.org/html/2609.01729#bib.bib2)，但它们通过固定架构实现这种表达能力：每个节点应用固定的非线性变换，网络的所有适应性都体现在其边的标量权重上。Kolmogorov–Arnold 网络（KAN）反转了这种设计。受 Kolmogorov–Arnold 表示定理 [3](https://arxiv.org/html/2609.01729#bib.bib3) 启发，KAN 将每个标量边权重替换为一个可学习的单变量函数，使得适应性位于边上而非节点上；原始的 KAN 使用 B样条 参数化这些边函数。据报道，除了架构新颖性外，这一单一改变还带来了两个实际好处：在一系列函数拟合和科学计算任务上，参数效率优于同等大小的 MLP；并且边函数可以被检查，并且在简单情况下可以直接读取为闭式表达式，这是标准 MLP 在很大程度上缺乏的可解释性特性 [5](https://arxiv.org/html/2609.01729#bib.bib5)、[6](https://arxiv.org/html/2609.01729#bib.bib6)。

随后出现了一系列快速演进的变体，它们保持边函数的思想，但将样条基底替换为其他东西：切比雪夫多项式 [7](https://arxiv.org/html/2609.01729#bib.bib7)、小波 [8](https://arxiv.org/html/2609.01729#bib.bib8)、分数阶雅可比多项式 [9](https://arxiv.org/html/2609.01729#bib.bib9)、径向基函数 [12](https://arxiv.org/html/2609.01729#bib.bib12)、[13](https://arxiv.org/html/2609.01729#bib.bib13) 以及基于分段线性 ReLU 的基底 [14](https://arxiv.org/html/2609.01729#bib.bib14) 等，各自被提议作为原始样条更快或更准确的替代品；最近的一项调查统计了在原始架构发布后大约一年内发表的数十种此类变体和特定应用的衍生版本 [17](https://arxiv.org/html/2609.01729#bib.bib17)。由此产生的架构已被应用于图像分类 [16](https://arxiv.org/html/2609.01729#bib.bib16)、时间序列分析 [15](https://arxiv.org/html/2609.01729#bib.bib15) 以及更广泛的科学计算 [6](https://arxiv.org/html/2609.01729#bib.bib6)。尽管具有多样性，但所有这些变体都与原始 KAN 共享一个结构假设：每个边函数所构建的基底族（候选单变量函数的有限集）在训练开始前由架构选择固定，只有该固定基底上的线性组合权重被学习。因此，选择基底是一个一次性的建模决策，留给实践者的判断或跨变体的试错；网络本身没有机制根据数据来修正该选择。

我们移除了这个假设。我们不是预先选择一个基底族，而是用一个二阶多项式递推关系来生成它，其五个系数与网络的其余部分一起联合学习（第3节 [https://arxiv.org/html/2609.01729#S3](https://arxiv.org/html/2609.01729#S3)）。正如我们在第3.3节 [https://arxiv.org/html/2609.01729#S3.SS3](https://arxiv.org/html/2609.01729#S3.SS3) 中所示，该递推关系具有足够的表达能力，可以将几种经典多项式族包含为特例，包括两种切比雪夫多项式、斐波那契、佩尔和雅可比斯塔尔多项式——正是因为这些族共享递推系数不依赖于多项式次数的特性，这与勒让德多项式等族不同。由于系数是学习的而非固定的，训练可以在数据拟合良好时恢复这些已知、理解良好的基底之一，或者远离所有这些基底，进入一个据我们所知任何固定基底 KAN 变体都无法达到的函数空间区域；并且正如我们在第4.3节 [https://arxiv.org/html/2609.01729#S4.SS3](https://arxiv.org/html/2609.01729#S4.SS3) 中所示，实践中发生哪种情况取决于目标任务，并且可以量化。

我们的贡献有四点。首先，我们为 KAN 引入了一个可学习的递归多项式基底，以及一个形式化特征，说明它包含哪些经典多项式族作为特例，以及其表达能力（具体而言，在给定递归深度下可达到的多项式次数）如何依赖于其参数。其次，我们在匹配参数预算下，跨涵盖图像、文本、生物医学时间序列分类和时间序列预测的多个基准数据集，提供了与三个代表性的固定或替代参数化 KAN 基线 [7](https://arxiv.org/html/2609.01729#bib.bib7)、[9](https://arxiv.org/html/2609.01729#bib.bib9)、[5](https://arxiv.org/html/2609.01729#bib.bib5) 的经验比较。第三，我们通过将卷积主干网络上的标准 MLP 分类头替换为 RecKAN 来扩展此评估，在三个图像分类数据集上显示了一致的改进。第四，我们分析了模型在这些实验中实际学习的递归参数，并将其与我们第一个贡献中的理论特征联系起来，具体而可解释地说明了模型为了拟合每个任务而对其自身基底所做的改变，而不是将学习的基底视为黑箱。

## 2 相关工作

#### Kolmogorov–Arnold 网络。

KAN 用可学习的单变量函数替代标量边权重 [5](https://arxiv.org/html/2609.01729#bib.bib5)、[6](https://arxiv.org/html/2609.01729#bib.bib6)，其动机源于 Kolmogorov–Arnold 表示定理 [3](https://arxiv.org/html/2609.01729#bib.bib3)、[4](https://arxiv.org/html/2609.01729#bib.bib4) 及其在神经网络文献中早期的批判性再评估 [18](https://arxiv.org/html/2609.01729#bib.bib18)。后续工作研究了它们的理论表达能力 [19](https://arxiv.org/html/2609.01729#bib.bib19)，在表格数据上将它们与 MLP 和基于树的模型进行了基准测试 [28](https://arxiv.org/html/2609.01729#bib.bib28)，并调查了快速增长的设计空间 [17](https://arxiv.org/html/2609.01729#bib.bib17)、[20](https://arxiv.org/html/2609.01729#bib.bib20)、[29](https://arxiv.org/html/2609.01729#bib.bib29)。架构扩展包括卷积变体 [22](https://arxiv.org/html/2609.01729#bib.bib22)、图变体 [27](https://arxiv.org/html/2609.01729#bib.bib27)、[21](https://arxiv.org/html/2609.01729#bib.bib21)、时间变体 [26](https://arxiv.org/html/2609.01729#bib.bib26)、[15](https://arxiv.org/html/2609.01729#bib.bib15)、分割主干网络 [25](https://arxiv.org/html/2609.01729#bib.bib25)、基于激活函数的重新表述 [35](https://arxiv.org/html/2609.01729#bib.bib35) 以及参数高效设计 [24](https://arxiv.org/html/2609.01729#bib.bib24)、[23](https://arxiv.org/html/2609.01729#bib.bib23)、[12](https://arxiv.org/html/2609.01729#bib.bib12)。应用包括计算机视觉 [16](https://arxiv.org/html/2609.01729#bib.bib16)、传感器数据处理 [37](https://arxiv.org/html/2609.01729#bib.bib37) 和排列不变函数表示 [34](https://arxiv.org/html/2609.01729#bib.bib34)。

#### 物理信息与科学 KAN。

一个重要的研究方向将 KAN 嵌入物理信息学习流水线。KINN 在 KAN 层之上重新表述强形式、能量形式和逆形式的 PDE 损失，并报告在跨尺度、奇异和异质问题上比基于 MLP 的 PINN 有一致的改进 [30](https://arxiv.org/html/2609.01729#bib.bib30)。相关工作包括用于 Navier Stokes 流的物理信息 KAN [31](https://arxiv.org/html/2609.01729#bib.bib31)、用于 PDE 求解的具有增强拉格朗日损失的混合编码器-解码器 KAN GRU 架构 [32](https://arxiv.org/html/2609.01729#bib.bib32)，以及用于电力系统动态的物理信息 KAN 表述 [33](https://arxiv.org/html/2609.01729#bib.bib33)。这些结果与原始 KAN 提案 [5](https://arxiv.org/html/2609.01729#bib.bib5)、[6](https://arxiv.org/html/2609.01729#bib.bib6) 背后的参数效率和可解释性动机大体一致。

#### 固定和结构化基底族。

一种主流策略是用另一个仍然固定的基底替换原始 B样条 边函数。例子包括切比雪夫多项式 [7](https://arxiv.org/html/2609.01729#bib.bib7)、可训练的分数阶雅可比基底 [9](https://arxiv.org/html/2609.01729#bib.bib9)、小波 [8](https://arxiv.org/html/2609.01729#bib.bib8)、径向基表述 [13](https://arxiv.org/html/2609.01729#bib.bib13)、[12](https://arxiv.org/html/2609.01729#bib.bib12)、[36](https://arxiv.org/html/2609.01729#bib.bib36)、基于 ReLU 的分段构造 [14](https://arxiv.org/html/2609.01729#bib.bib14) 和傅里叶表示 [21](https://arxiv.org/html/2609.01729#bib.bib21)。一项广泛的比较研究调查了十八种不同的多项式族，包括正交、超几何、q-、斐波那契相关、组合和数论多项式，作为候选的 KAN 基底 [29](https://arxiv.org/html/2609.01729#bib.bib29)。经典多项式递推的结果 [10](https://arxiv.org/html/2609.01729#bib.bib10)、[11](https://arxiv.org/html/2609.01729#bib.bib11) 是其中几个族的基础，因为切比雪夫、斐波那契、佩尔和雅可比斯塔尔多项式都源于常系数二阶递推。在这类工作中，生成族由架构选择固定，训练只调整系数、比例或族内参数 [7](https://arxiv.org/html/2609.01729#bib.bib7)、[9](https://arxiv.org/html/2609.01729#bib.bib9)、[8](https://arxiv.org/html/2609.01729#bib.bib8)、[13](https://arxiv.org/html/2609.01729#bib.bib13)、[14](https://arxiv.org/html/2609.01729#bib.bib14)、[36](https://arxiv.org/html/2609.01729#bib.bib36)。

#### 与 RecKAN 的关系。

RecKAN 的不同之处在于学习生成基底的二阶递推关系本身，而不是预先选择一个固定的族。该递推关系包含了经典文献中研究的多个常系数多项式族 [10](https://arxiv.org/html/2609.01729#bib.bib10)、[11](https://arxiv.org/html/2609.01729#bib.bib11) 作为特例，同时与在视觉、图、时间、表格和物理信息环境中探索的更广泛的 KAN 设计空间兼容 [16](https://arxiv.org/html/2609.01729#bib.bib16)、[27](https://arxiv.org/html/2609.01729#bib.bib27)、[26](https://arxiv.org/html/2609.01729#bib.bib26)、[28](https://arxiv.org/html/2609.01729#bib.bib28)、[30](https://arxiv.org/html/2609.01729#bib.bib30)、[32](https://arxiv.org/html/2609.01729#bib.bib32)。先前的 KAN 变体是在固定基底族内调整参数 [7](https://arxiv.org/html/2609.01729#bib.bib7)、[9](https://arxiv.org/html/2609.01729#bib.bib9)、[8](https://arxiv.org/html/2609.01729#bib.bib8)、[13](https://arxiv.org/html/2609.01729#bib.bib13)、[14](https://arxiv.org/html/2609.01729#bib.bib14)、[21](https://arxiv.org/html/2609.01729#bib.bib21)、[36](https://arxiv.org/html/2609.01729#bib.bib36)，而 RecKAN 调整的是基底生成规则本身。

## 3 方法

### 3.1 预备知识：Kolmogorov–Arnold 网络

Kolmogorov–Arnold 表示定理指出，任何连续函数 \(f:[0,1]^{n} \to \mathbb{R}\) 都可以写成连续单变量函数的有限叠加 [3](https://arxiv.org/html/2609.01729#bib.bib3)、[4](https://arxiv.org/html/2609.01729#bib.bib4)。Kolmogorov–Arnold 网络（KAN）将这个结果操作化为一种学习架构，其中网络的每条边（而不是每个节点）承载一个可学习的单变量函数 [5](https://arxiv.org/html/2609.01729#bib.bib5)。具体来说，一个映射 \(\mathbb{R}^{d_{\text{in}}} \to \mathbb{R}^{d_{\text{out}}}\) 的 KAN 层在边级定义为：
\[
y_{j} = \sum_{i=1}^{d_{\text{in}}} \phi_{i,j}(x_{i}), \qquad j=1,\dots,d_{\text{out}},
\]
(1)
其中每个 \(\phi_{i,j}:\mathbb{R} \to \mathbb{R}\) 是一个可学习的单变量函数，而不是标准线性层中固定的标量权重。原始 KAN 公式用 B样条 [5](https://arxiv.org/html/2609.01729#bib.bib5) 参数化 \(\phi_{i,j}\)；后续工作将样条基底替换为其他固定函数族，包括切比雪夫多项式 [7](https://arxiv.org/html/2609.01729#bib.bib7)、小波 [8](https://arxiv.org/html/2609.01729#bib.bib8) 和分数阶雅可比多项式 [9](https://arxiv.org/html/2609.01729#bib.bib9)。在这些变体中，基底族在训练前是固定的，只有该基底上的线性组合系数被学习。RecKAN 通过学习生成基底本身的递推关系来消除这个限制。

### 3.2 可学习的递归多项式基底

###### 定义 1（递归多项式基底）。

令 \(a,b,c,d,e \in \mathbb{R}\)。由 \((a,b,c,d,e)\) 生成的 \(K\) 阶*递归多项式基底*是函数序列 \(R_{0}, R_{1}, \dots, R_{K}:\mathbb{R} \to \mathbb{R}\)，定义为：
\[
\begin{aligned}
R_{0}(x) &= 0, \\
R_{1}(x) &= 1, \\
R_{n+1}(x) &= (ax^{2} + bx + c)R_{n}(x) + (dx + e)R_{n-1}(x).
\end{aligned}
\]
(2)