分数阶优化器遇到分形激活函数：神经网络多尺度优化的实证研究

# 分数阶优化器遇见分形激活函数：神经网络中多尺度优化的经验研究
来源：https://arxiv.org/html/2608.14636

###### 摘要
分数阶优化方法与分形激活函数是改进神经网络训练的两个独立方向。分数阶优化器通过分数阶导数和记忆效应扩展了一阶优化，而分形激活则引入了基于自相似魏尔斯特拉斯型和布朗番体函数的多尺度非线性表示。本文在统一实验框架下探究了它们的交互作用。我们在Ackley和Himmelblau基准曲面上评估了分数阶优化器家族，包括标准形式和添加魏尔斯特拉斯型扰动的形式，并在十个分类数据集上使用常规和分形激活函数评估了前馈神经网络。比较方法包括标准方法、正则化型优化器、显式和自适应记忆型分数阶优化器以及其他代表性文献方法。总体而言，分数阶优化与分形激活显示出有用但具有选择性的配对。正则化型分数阶缩放与特定分形激活在网络训练中表现良好，而Grünwald–Letnikov记忆在扰动曲面上最为相关。自适应记忆在多种情况下改善了普通记忆替代，支持受控分数阶记忆作为一个有前景的方向，而非通用替代方案。

###### 关键词
分数阶微积分，Grünwald–Letnikov导数，魏尔斯特拉斯函数，分形激活函数，分数阶优化器，梯度下降，神经网络，多尺度优化

\affiliation [sba]organization=SBA Research gGmbH, addressline=Floragasse 7, 5th Floor, postcode=1040, city=Vienna, country=Austria
\affiliation [univie]organization=Christian Doppler Laboratory for Assurance and Transparency in Software Protection, Research Group Security & Privacy, Faculty of Computer Science, University of Vienna, addressline=Kolingasse 14–16, postcode=1090, city=Vienna, country=Austria

## 1 引言
不规则的多尺度结构在自然界中普遍存在。海岸线、粗糙表面、湍流以及许多生理和金融信号在每个观察尺度上都展现出细节，而分形几何正是为描述此类对象而发展的[35, 15, 40, 5]。这种行为的数学原型比分形一词的出现早了一个多世纪：魏尔斯特拉斯构造了一个处处不可微的连续函数[72]，哈代确定了这种病态发生的参数范围[20]，高木贞治给出了同一现象的第二个独立例子[61, 3]。后来，贝里和刘易斯将这些构造的魏尔斯特拉斯-曼德尔布罗变体与无标度信号的物理建模联系起来[6]，并且对其图的维数理论进行了详细研究[26]。这一族函数是连续的但很粗糙：其定义级数的每一项都添加了更精细尺度的振荡，经典的每一点一阶导数都不存在。分数阶微积分提供了匹配的解析概念，描述整数阶*之间*的行为。阶数ν∈(0,1)的分数阶导数在恒等式（ν=0）和普通导数（ν=1）之间插值；它是一个非局部算子，在整个区间上对函数增量加权，而非仅在单一点上[38, 41, 55, 11]。对本研究有趣的是，没有一阶导数的函数可能具有所有低于一阶的分数阶导数[53]，并且对于魏尔斯特拉斯型函数，采勒和齐佐尔德证明了分数阶可微度等于构造的粗糙度指数：所有更低阶的韦尔-马绍导数存在，高于粗糙度水平的阶数不存在，在临界阶数上存在对数平均的*平均渐近导数*，并且几乎处处为常数，同时提供了计算它的良态数值过程[77]。简而言之，分数阶导数是在正确尺度上测量分形粗糙度的工具，这种对应关系在第4节中详细展开。

这两个概念最近都进入了神经网络研究，但通过不同的路径。在表示方面，早期研究引入了*分形激活函数*，这是一类源自布朗番体型和魏尔斯特拉斯型级数的计算稳定的激活函数，并在十个公共分类基准测试上表明，此类激活函数可用于标准训练管道，并能增加表达能力，超越如ReLU和tanh等常见选择[45, 37, 43, 44]。关于分形性并非与神经网络格格不入的另一个独立证据是观察到可训练与发散超参数配置之间的边界本身就是一个分形集合[58]。在优化方面，不断壮大的*分数阶优化器*家族用非整数阶算子替换或扩展了一阶梯度，无论是通过Caputo型重新缩放[23, 22]还是通过显式的Grünwald–Letnikov梯度记忆[81, 57, 19]，自适应和缓和变体构成了一个活跃的研究方向[73, 10, 27, 36]，并且近期的几篇综述记录了该领域[14, 16, 70, 46]。尽管它们有共同的数学根源，但这两条线至今都是独立研究的。这是本文所要解决的空白。本工作是在数学动机下对Rauberzek等人分形激活研究的延续[45]：如果分形激活向表示中注入了多尺度粗糙度，并通过反向传播进入梯度，那么设计原则是多尺度记忆的优化器就是自然的对应物，这种组合值得进行系统评估。这种对应不仅仅是口头上的。如第4节所示，离散化魏尔斯特拉斯型函数分数阶导数的同一个Grünwald–Letnikov核，在迭代轴上应用时，就定义了本文比较的分数阶优化器的记忆项。

本研究的目标有三个。第一，评估分数阶优化器在具有受控分形结构的客观景观上的行为，使用两个标准基准测试曲面Ackley和Himmelblau[29]，每个曲面采用标准形式，以及扩展了加性魏尔斯特拉斯型扰动的变体。第二，在使用前身研究中最强的分形激活函数的前馈神经网络中，评估同一优化器家族，同时在十个公共分类数据集上与常规激活函数一起测试[68]。第三，引入并测试一个*自适应记忆分数阶*优化器框架，该框架保持分数阶固定，而是调整记忆贡献的有界信任系数，在该系数的边界处精确还原到基础经典优化器。

本工作贡献如下：
1. (i) 一个统一的呈现，连接了魏尔斯特拉斯型函数分数阶导数的分析[77]与分数阶优化器中使用的离散Grünwald–Letnikov构造，明确说明了为什么分形激活和分数阶优化器是同一数学机制的两个实现（第4节）。
2. (ii) 一个新型的自适应记忆型分数阶优化器家族（AdaptiveMemoryFSGD, -FRMSprop, -FAdam, -FAdadelta），通过一个稳定性和损失控制的混合系数，将范数匹配的分数阶记忆梯度与普通梯度结合（第6节）。
3. (iii) 对21个优化器进行系统的经验比较，分为五组——经典基线、Herrera型分数阶、记忆型分数阶、自适应记忆型分数阶以及已发表的相关工作方法——首先在具有已知最小值的分形扰动基准曲面上，然后在具有分形和常规激活函数的神经网络分类实验中进行（第7和8节）。

本文其余部分组织如下。第2节回顾相关工作。第3节非正式地介绍分形函数和分数阶导数。第4节发展魏尔斯特拉斯型函数与分数阶导数之间的数学联系，从连续理论到离散Grünwald–Letnikov形式及其在自动微分中的作用。第5节定义了实验中使用的四个分形激活函数。第6节介绍了所使用的21个优化器。第7节报告了受控曲面优化实验，第8节报告了神经网络分类实验。第9节在背景中讨论发现，第10节总结全文。我们认识到本文篇幅很长。然而，为了足够深入地考察该主题，呈现所研究技术的数学和直观基础，并以适当的细微差别和细节报告实验结果，这一范围是必要的。同时，在全文中提供了简明的摘要和要点总结，以支持可读性，并允许从业者跳过应用方法不需要的理论解释。我们还在相应的GitHub仓库中提供了重建所有实验和重用开发的优化器和激活函数的完整代码，地址为：https://github.com/Raubkatz/FractalAndFractional2026。

**主要要点 — 引言**
* 分形粗糙度与分数阶导数在数学上相互关联。魏尔斯特拉斯型函数提供受控的多尺度粗糙度，而分数阶导数描述了低于经典一阶阈值的变化。
* 分形激活和分数阶优化器从不同侧面解决同一多尺度问题。分形激活向表示中添加多尺度结构，而分数阶优化器在更新方向中引入记忆。
* 本研究从两方面评估组合框架。它引入自适应记忆型分数阶优化器，并在分形扰动基准曲面和神经网络分类任务上比较21个优化器。

## 2 相关工作
本节回顾与本研究相关的四条研究线索：经典分析中的分形函数、这些函数的分数阶导数、神经网络中的分形性以及神经网络训练的分数阶优化方法。每段末尾都说明了与本工作的关系。

**经典分析中的分形函数。** 魏尔斯特拉斯函数[72]是连续但处处不可微函数的经典例子；哈代确定了不可微性成立的精确参数条件[20]，而高木（布朗番体）函数从帐篷型生成器提供了第二个标准构造[61, 3]。曼德尔布罗将这些对象置于分形几何的中心，作为不规则自然结构的模型[35]，贝里和刘易斯分析了魏尔斯特拉斯-曼德尔布罗函数及其在物理建模中的精确尺度不变性[6]，魏尔斯特拉斯型图的维数理论由胡和刘发展[26]；标准处理见于[15, 40, 5]。在本研究中，正是这个函数类在两个实验层面上都是原材料：基准曲面的分形扰动和网络内的分形激活函数都是截断的魏尔斯特拉斯型和布朗番体型级数。

**魏尔斯特拉斯型函数的分数阶导数。** 分数阶微积分，即非整数阶导数和积分的理论，可追溯至十九世纪格伦沃尔德、列特尼科夫、黎曼、刘维尔以及后来卡普托对初值友好的表述的构造[38, 41, 7]；不等价的定义的处理和比较见于[55, 11, 52, 17, 17]。对于粗糙函数，关键事实是分数阶可微性可以在经典可微性失效的地方存在：罗斯、萨姆科和洛夫证明了没有一阶导数的函数可能具有所有低于一阶的分数阶导数[53]，这种类型的逐点正则性被霍尔德尺度分析系统地捕捉[28]。对于本文使用的函数类，最尖锐的结果归功于采勒和齐佐尔德[77]：对于粗糙度指数为γH的魏尔斯特拉斯和魏尔斯特拉斯-曼德尔布罗函数，所有低于粗糙度水平的韦尔-马绍导数都存在，高于该水平的阶数不存在，在临界阶数上存在对数平均的*平均渐近导数*，几乎处处为常数。