结合梯度下降的自适应混合粒子群优化

# 基于梯度下降的自适应混合粒子群优化
来源: https://arxiv.org/html/2608.11258
###### 摘要

梯度注入仅在粒子群已识别出具有平滑局部结构的盆地时对粒子群优化（PSO）有帮助——而非在所有情况下。我们提出自适应混合PSO（AHPSO），利用群体多样性的sigmoid函数自动调节梯度影响：探索阶段接近零，开发阶段接近最大，无需手动阶段切换。在预算归一化比较中（PSO获得等价的总函数评估次数），PSO在40个配置中获胜52.5%，而AHPSO为20%（p=7.0×10−5，Friedman检验）。AHPSO仅在具有平滑局部盆地的问题（F8、F24–F27）上保持优势，在这些问题上，即使在同等成本下，定向下降也优于无定向采样。在跨29个函数的迭代匹配比较中（42个配置，14,700次运行），AHPSO-Adadelta在包括CMA-ES在内的9种方法中排名第一（p=9.75×10−4）。本文的贡献是对梯度注入在群智能搜索中何时提供价值的原理性刻画，而非声称普遍优越性。

## I 背景与相关工作

### I-A 什么是优化？

许多现实世界的问题需要从大量可能性中找到最佳解决方案，这就是优化。例如，在地形中找到最低点（图1 (https://arxiv.org/html/2608.11258#S1.F1)）。简单地形只有一个山谷（单峰），但现实问题通常有许多山谷（多峰），容易陷入次优解而无法自拔。

参见图注图1：两类优化地形。(a) 单峰：只有一个清晰的最优值，容易求解。(b) 多峰：有许多局部最优值，可能困住算法，困难得多。

### I-B 粒子群优化（PSO）

PSO[1 (https://arxiv.org/html/2608.11258#bib.bib1)]是一种受鸟群飞行启发的基于群体的算法。由N个粒子组成的群体在d维搜索空间中飞行，每个粒子记住自身的最优位置（p_i）并知道群体的最优位置（g）。在每一步中，粒子i的速度通过三个力进行更新（图2 (https://arxiv.org/html/2608.11258#S1.F2)）：

v_i^{t+1}=\underbrace{w\cdot v_i^{t}}_{\text{inertia}}+\underbrace{c_1r_1(p_i-x_i^{t})}_{\text{cognitive}}+\underbrace{c_2r_2(g-x_i^{t})}_{\text{social}}(1)
x_i^{t+1}=x_i^{t}+v_i^{t+1}(2)

其中w是惯性权重（粒子信任当前方向的程度），c1和c2是加速度系数（在我们的实验中设为2.0），r1,r2∼U(0,1)是每次迭代重新抽取的随机数，它们引入随机性，使粒子不会都走同一条路径。

参见图注图2：PSO速度更新。每个粒子受到三个力的牵引：惯性（保持运动）、认知（返回个体最优）和社交（移向全局最优）。三者的组合决定新位置。

惯性权重w控制探索与开发之间的平衡；Shi和Eberhart[9 (https://arxiv.org/html/2608.11258#bib.bib9)]表明，在运行过程中将w从0.9线性递减到0.4可显著改善收敛性，早期较高的w鼓励广泛搜索，后期较低的w鼓励收敛定居。

优点：简单、参数少、擅长广泛探索。缺点：一旦接近最优值，精确收敛速度慢。

### I-C 梯度下降（GD）

梯度∇f(x)是一个指向点x处最陡上升方向的向量。梯度下降只是沿相反方向朝下迈步：

x^{t+1}=x^{t}-\eta\cdot\nabla f(x^{t})(3)

其中η是学习率（步长