基于广义Lipschitz光滑性的神经网络梯度下降收敛保证

# 通过广义Lipschitz光滑性得到神经网络梯度下降的收敛保证

来源：https://arxiv.org/html/2608.11479  
2026年8月7日

###### 摘要

我们为任意宽度或深度的通用前馈神经网络建立了梯度下降的收敛保证，且对初始化或数据集没有特殊要求。我们仅假设激活函数是Lipschitz光滑、Lipschitz连续且线性有界的——这些性质对线性、tanh、softplus和sigmoid激活函数均成立。对于损失函数，我们要求它在模型输出上是Lipschitz光滑的，这对均方误差成立。关键的理论洞见在于，激活函数的Lipschitz性质即使在反复复合后也部分保留，从而产生一种新颖的广义Lipschitz光滑性条件：梯度的变化量由参数空间的变化量乘以两个端点处参数范数的多项式项所上界。这类条件对模型函数和损失函数都成立，从而引出一个下降引理：只要学习率相对于参数范数足够小，损失就会下降。通过确保参数范数不会过快增长到无穷大，我们证明对于\(L\)层神经网络，最小平方梯度范数在\(T\)次迭代内以\(O(1/T^{1/L})\)的速率收敛到零。

## 1 引言

梯度下降在神经网络损失函数上的行为几十年来一直未能得到完整的理论理解。这些损失景观不仅是高度非凸的，更关键的是，它们不满足Lipschitz光滑性，即梯度的变化量与参数空间的变化量成线性上界关系。相反，决定景观尖锐程度的局部Lipschitz常数可以随着参数趋近无穷大而无界增长。由于Lipschitz光滑性对于证明梯度算法的收敛性至关重要，机器学习研究中出现了一个根本性空白：流行的优化方法在光滑性假设下进行分析，却在理论上尚未得到很好刻画的神经网络景观上得到经验验证。

大量研究在高度受限的设置中考察梯度下降收敛到神经网络全局最小值的问题——例如，要求网络足够宽（过参数化）或无限宽[13, 19, 2, 17]，特定的架构或激活函数[3]，平衡或高斯初始化方案，非退化[8]或正交[12]数据集。在这些条件下，迭代点始终保持在初始化附近的有界集合内，从而有效地满足局部Lipschitz光滑性。虽然这些分析为梯度下降如何在深度学习中取得出乎意料的强大表现提供了有价值的洞见，但它们需要许多假设，并且往往无法适用于其约束之外的场景。例如，已有研究表明，无限宽机制并不能充分刻画有限宽神经网络训练的行为[4, 35, 33, 28]。

另一条研究路线试图识别更弱的要求，例如非均匀或广义Lipschitz光滑性条件，这些条件仍然允许梯度下降收敛。对于二次可微函数，Lipschitz光滑性等价于要求Hessian范数有一个常数上界。一种放宽是\((L_0,L_1)\)-光滑性[36]，它要求Hessian范数以梯度范数的仿射函数为上界。这一条件被进一步推广到任意非递减函数[18]，其他工作则考虑用目标值的仿射函数来界定Hessian[27]。一个相关概念是相对光滑性，其中Hessian以某个凸参考函数的Hessian为上界，从而允许梯度下降或镜像下降收敛[6, 20]。然而，尽管这些条件能够刻画更复杂的设置，它们通常并不被深度神经网络的损失景观所满足。

在这项工作中，我们提供了一个新的分析框架，以解决上述两种方法的局限性。我们确定了一个广义Lipschitz光滑性条件，称之为双多项式光滑性，它完整刻画了任意宽度或深度的前馈神经网络，只要激活函数是Lipschitz光滑、Lipschitz连续且线性有界的，并且损失在模型输出上是Lipschitz光滑的。通过递归地将一层的Lipschitz性质关联到下一层，我们证明了模型函数梯度的变化量由参数空间的变化量乘以两个端点处参数范数的多项式项所上界。¹¹¹特别是，我们使用“双”来强调对两个端点参数范数的依赖，同时也为了与相邻研究领域（如近似消息传递算法的分析[24]）中对“多项式光滑性”一词的使用相区分。这一性质不仅正确地描述了神经网络的结构，而且还可以传递给损失函数，从而引出一个下降引理：只要学习率相对于参数范数足够小，损失就会下降。最后一步是证明参数范数以\(T^\frac{L-1}{L}\)的速率次线性增长到无穷大。这使我们能够证明，对于\(L\)层神经网络，最小平方梯度范数以\(O(1/T^{1/L})\)的速率收敛到零。

我们的收敛分析适用于广泛的前馈神经网络，包括具有线性、tanh、softplus和sigmoid激活函数的模型。我们方法的优势在于，激活函数在数学上相对容易刻画，并且它们很容易满足Lipschitz光滑性或连续性等要求，而如果将这些要求强加于整体损失函数上则会过于严格。我们要求损失在模型输出上是Lipschitz光滑的，这是一个由均方误差满足的温和条件。我们对宽度、深度、初始化或数据集没有特殊要求；我们仅为了方便假设数据集已归一化，以简化一些代数步骤。由于我们不要求迭代点保持在有界集合内，我们的分析自然地涵盖了神经网络的“特征学习”机制，此时参数可能远离初始化以学习数据的特征表示[11, 30]。

我们的贡献可总结如下。

- •我们建立了前馈神经网络及其损失函数的双多项式光滑性，证明梯度的变化量由参数空间的变化量乘以两个端点参数范数的多项式项所上界。
- •我们证明了在\(L\)层神经网络的损失函数上进行梯度下降以\(O(1/T^{1/L})\)的速率收敛，前提是步长相对于参数范数和损失值足够小。

## 2 相关工作

#### 神经网络损失函数收敛到全局最小值。

由于神经网络取得了巨大成功，大量工作致力于确定梯度下降收敛到神经网络损失函数全局最小值的条件，此时所得模型在训练集上实现零误差。这些分析通常依赖于关于模型维度、初始化或数据集的一系列假设，以证明某种梯度优势条件在梯度下降轨迹的所有点上持续成立（尽管并非全局成立），从而将损失驱动到零。许多此类结果在过参数化机制中成立，其中隐藏层相对于数据维度或数据集大小非常宽[19, 13, 2, 12, 32]。还有一些工作考虑无限宽神经网络[10, 5]；特别是，一个核心框架是神经正切核（NTK）分析，其中随着网络宽度趋于无穷，梯度下降训练过程退化为一种核方法。在这些分析中，迭代点可以证明保持在初始化附近的有界集合内。它们通常还依赖随机初始化；例如，NTK分析利用这样的事实：具有无限随机初始化的神经网络通过中心极限定理收敛到高斯过程[17]。最后，还有其他工作需要限制数据集；例如，文献[3, 9]考虑白化数据上的深度线性神经网络梯度下降，文献[8]分析了一个互补设置，其中神经网络维度任意，但输入数据维度至少为数据点数量。虽然这些工作为神经网络如何在严格假设下实现接近零的训练损失提供了重要见解，但它们未能解释在这些假设之外梯度下降的更广泛行为。

与此同时，关于梯度下降收敛到神经网络稳定点的收敛速度的一般分析明显缺失。关于这一设置的一个众所周知的问题是，当迭代点趋向无穷时，缺乏全局Lipschitz常数或Hessian范数的界[25]。相比之下，如果训练保持在紧集内，那么对所有迭代点Hessian必然有界，函数是局部Lipschitz光滑的。考虑参数潜在无界的行为不仅仅是一个技术挑战；它对于理解神经网络的“特征学习”机制至关重要，在该机制中，随着模型学习数据的特征表示，最终迭代点会显著偏离初始化。相反，已有研究表明，迭代点不会远离初始化的“惰性训练”机制不会产生表现良好的模型，这进一步增加了上述工作的局限性[11, 30]。

#### 广义Lipschitz光滑性。

为了对神经网络设置进行更忠实的分析，最近一系列工作致力于放宽Lipschitz光滑性条件，这些条件仍然可以产生梯度算法的收敛性，有时被称为广义Lipschitz光滑性或非均匀光滑性。文献[36]提出了\((L_0,L_1)\)-光滑性条件，其中Hessian范数以梯度范数的仿射函数为上界，用以解释梯度裁剪的性能。该条件随后被推广到多项式函数[29, 34]，后来又进一步扩展到梯度范数的任意非递减函数[18]。其他工作考虑用目标值的多项式函数来界定Hessian范数[27, 21]。然而，这些广义光滑性条件通常是经验驱动的，并且仅被某些特殊情况的神经网络所满足——例如，一层被冻结的两层神经网络[27]，在线性可分数据上具有严格递增激活函数的两层神经网络[26]，或者权重始终保持“强平衡”子空间中的深度线性神经网络[1]。

一个相关的研究领域是相对光滑性，其动机来自镜像下降分析，其中Hessian范数以某个凸参考函数的Hessian为上界，该参考函数用于将迭代点映射到对偶空间以及映射回来[6, 20]。特别是，文献[20, 14]指出，两层线性神经网络满足相对光滑性条件，其中损失Hessian以参数范数的二次项为上界。这一条件与我们工作中提出的双多项式光滑性最为接近。然而，他们仅使用该参考函数处理镜像下降，而非普通梯度下降，并且他们没有考虑带非线性激活函数的通用神经网络。

最后，一些工作试图通过分别考虑梯度下降轨迹周围的局部条件来绕过全局光滑性的问题。文献[22]提出了方向光滑性，其中梯度变化仅取决于优化路径上的局部条件。然而，这需要求解隐式方程以获得学习率，且现有分析仅适用于凸函数。文献[15]引入了“glocal”光滑性的概念，其中损失函数可能具有过大的全局Lipschitz常数，但具有较小的局部Lipschitz常数。这使得能够在更复杂的景观上分析算法，但仍排除了神经网络，因为神经网络在无界域上缺乏全局Lipschitz常数。最后，文献[7]考虑了一个广泛的情形，即可以访问一个局部一阶光滑性预言机，该预言机在某个半径为\(R\)的球内界定局部Lipschitz光滑性常数。然而，该框架的一个关键挑战在于每一步如何选择\(R\)使其包含下一个迭代点。相比之下，本工作中推导的双多项式光滑性是一个全局条件，对任意两点都成立，无论它们之间的距离多远。

#### 矩阵分解与低秩微调。

许多先前的工作已经观察到矩阵分解与神经网络训练之间的紧密联系[25, 31]。