所择之路：优化器在稳定性边缘的角色

# 优化器在稳定性边缘的作用  
来源：https://arxiv.org/html/2608.18415  
## 所走之路：优化器在稳定性边缘的作用  
Jaerin Lee & Kyoung Mu Lee  
附属机构：ASRI计算机视觉实验室  
附属机构：首尔大学  
附属机构：韩国首尔08826  
邮箱：[\{ironjr,kyoungmu\}@snu\.ac\.kr](mailto:)  

#### 摘要  
稳定性边缘是指在使用基于梯度的优化器进行深度学习时，损失函数的海森特征值保持在经典下降引理预测为不稳定的阈值之上并保持稳定的现象。先前的研究基于最大海森特征值和学习率来建立稳定性边缘的数学模型。然而，我们观察到许多一阶方法（包括梯度下降）显著违背了这些理论预测的稳定性界限，其违背程度最高可达21.1倍。此外，这种偏离被证明是系统性的，并且高度依赖于底层优化器，而之前的公式并未捕捉到这一点。这就需要一种新的稳定性阈值公式，我们从方向海森矩阵和梯度更新对齐得分推导而来，而非基于最大曲率模式。我们提出的*实现*稳定性边缘的新公式不仅消除了依赖于优化器的偏移，并且提供了更一致的稳定性阈值预测，还引入了新的诊断工具，揭示了优化器在一阶优化中主动平衡时序与空间预算的独特作用。  

## 1 引言  
深度学习优化的训练动态仍然存在许多未解之谜。其中最引人入胜的现象之一是*稳定性边缘*（EoS）[13 (https://arxiv.org/html/2608.18415#bib.bib4)]，即梯度下降在经典理论预测为不稳定的区域中运行。经典的下降引理[46 (https://arxiv.org/html/2608.18415#bib.bib2);7 (https://arxiv.org/html/2608.18415#bib.bib1)]指出，梯度下降可用的学习步长η受目标函数曲率的约束：  
ηλₘₐₓ(H) ≤ 2，  (1)  
其中λₘₐₓ是损失函数L(θ)在局部最小点θ⋆处的海森矩阵H = ∇²θL(θ⋆)的最大特征值。虽然这个界限对凸目标成立，但在如深度学习这样的高度非凸环境中，其行为变得更为复杂。在这些情况下，据报告，关系式 (1) 更像是一个稳定的吸引子，将曲率λₘₐₓ吸引到接近2/η的值，而非严格的稳定性阈值[34 (https://arxiv.org/html/2608.18415#bib.bib5);13 (https://arxiv.org/html/2608.18415#bib.bib4)]。在最初的几百次迭代中，最大的海森特征值λₘₐₓ要么迅速减小[34 (https://arxiv.org/html/2608.18415#bib.bib5);62 (https://arxiv.org/html/2608.18415#bib.bib30)]，要么逐渐增大[13 (https://arxiv.org/html/2608.18415#bib.bib4)]（具体取决于初始化），直到最终达到接近2/η的稳定点，并在此值附近波动。这种机制被称为*稳定性边缘*（EoS）[13 (https://arxiv.org/html/2608.18415#bib.bib4)]。  

之前的研究并未将其统一为一个定义，而是提出了多种替代的稳定性边缘公式[38 (https://arxiv.org/html/2608.18415#bib.bib29);12 (https://arxiv.org/html/2608.18415#bib.bib26);14 (https://arxiv.org/html/2608.18415#bib.bib7);1 (https://arxiv.org/html/2608.18415#bib.bib16);63 (https://arxiv.org/html/2608.18415#bib.bib8);5 (https://arxiv.org/html/2608.18415#bib.bib27);10 (https://arxiv.org/html/2608.18415#bib.bib24);11 (https://arxiv.org/html/2608.18415#bib.bib10);23 (https://arxiv.org/html/2608.18415#bib.bib35);4 (https://arxiv.org/html/2608.18415#bib.bib14);36 (https://arxiv.org/html/2608.18415#bib.bib31)]。然而，它们共享相同的核心思想和结构，即两或三个可分离量的乘积：（1）学习率标量η，（2）相对于（可能经过预处理的）海森矩阵的*最大曲率本征模*或*锐度*S，以及可选地（3）如果优化器有状态，则包括一个由动量引起的增益Γ：  
η S Γ ≤ 2。  (2)  
例如，最初的公式[13 (https://arxiv.org/html/2608.18415#bib.bib4)]令S=λₘₐₓ(H)，Γ=1。后来的工作[12 (https://arxiv.org/html/2608.18415#bib.bib26)]通过取S=λₘₐₓ(P^{-1/2}HP^{-1/2})引入了预处理，并引入因子Γ=Γ(β)来解释动量。例如，对于Heavy Ball[48 (https://arxiv.org/html/2608.18415#bib.bib45)]，Γ(β)=1/(1+β)；对于Nesterov动量[44 (https://arxiv.org/html/2608.18415#bib.bib46)]，Γ(β)=(1+2β)/(1+β)。  

总之，稳定性边缘已被理解为*最坏模式*锐度和*可分离的*时序因子的乘积。这个公式提供了对二次目标可证明是临界的*可用*稳定性阈值。然而，我们发现边缘的实际相对位置χ:=η S Γ/2与理论预测χ=1不一致。如图1所示，其值在不同类型优化器和学习率范围从0.79到21.07不等。即使是普通梯度下降也高于χ=1（左上角）。随着学习率增加，饱和曲线的平均值增长至约χ≈1.62。更复杂的优化器，如双动量优化器[30 (https://arxiv.org/html/2608.18415#bib.bib37);47 (https://arxiv.org/html/2608.18415#bib.bib39)]或极零滤波器[40 (https://arxiv.org/html/2608.18415#bib.bib44)]，其实际稳定性边缘上升至约χ=2.65（第3和第4列）。最极端的情况是AdaGrad[16 (https://arxiv.org/html/2608.18415#bib.bib42)]（右上角），它显示出一个明显的边缘，在η=0.01时从χ=1.42开始，在η=0.1时达到χ=21.07。χ偏离理论预测值χ=1.0的程度强烈依赖于底层的优化算法。这种系统性的偏离对当前稳定性边缘的公式和解释提出了新的挑战。事实上，这个公式 (2) 隐含了一个关键假设：最坏模式的锐度S总是被优化器实现，但情况并非总是如此。  

我们从对优化器操作的实际动态系统建模开始，基于方向海森矩阵[32 (https://arxiv.org/html/2608.18415#bib.bib52);42 (https://arxiv.org/html/2608.18415#bib.bib36);23 (https://arxiv.org/html/2608.18415#bib.bib35)]和梯度更新对齐[31 (https://arxiv.org/html/2608.18415#bib.bib38)]推导出一个新的稳定性阈值公式。如图1底部行所示，这个被称为*实现*稳定性边缘的新公式ζ，在很大程度上消除了依赖于优化器的偏移。此外，它的计算效率更高，并且通过分解为可解释的因子来恢复原始公式χ。这提供了对现象本身更丰富的理解，并揭示了优化器通过主动校准时间刻度和空间预算，在稳定性边缘进行引导的作用。  

**图1**：不同类别优化器的稳定性边缘。我们使用各种全批量基于梯度的优化器在CIFAR-10上训练一个全连接网络：梯度下降（GD）、Adam、带极零滤波器的梯度下降（QHM）和带双极点滤波器的梯度下降（Grokfast），以及AdaGrad。稳定性边缘的理论预测χ:=η S Γ/2=1.0在实践中偶尔被违反，并且偏移χ高度依赖于所使用的优化器类型。这种系统性偏差促使我们提出*实现*稳定性边缘ζ:=χς/τ的新公式，其中ς和τ分别是空间和时间校准因子。这个新公式与经验观察更一致，并消除了依赖于优化器的偏移。  

我们的贡献是：  
- •我们将稳定性边缘的原始公式[13 (https://arxiv.org/html/2608.18415#bib.bib4);12 (https://arxiv.org/html/2608.18415#bib.bib26)]扩展到具有状态的通用基于梯度的优化器，该公式对固定的二次目标是精确的。  
- •我们推导出稳定性阈值的新公式，基于方向海森矩阵和梯度更新对齐得分[31 (https://arxiv.org/html/2608.18415#bib.bib38)]，该公式与经验观察更一致，并消除了依赖于优化器的偏移。  
- •我们将*实现*稳定性边缘ζ分解为可解释的组成部分：原始稳定性边缘χ、空间参与度ς和时间校准τ，并表明当且仅当ς=τ时，两个稳定性边缘公式重合，即ζ=χ。  
- •这提供了一个简单而强大的诊断工具，用于理解驱动训练轨迹在稳定性边缘的主要因素，揭示了优化器携带的潜在损失下降g⊤u=dL/dt中有多少被转化为真实的进展ΔL，以及有多少损失在不同分量上。  

## 2 预备知识：稳定性边缘  
为了理解稳定性边缘，我们首先回顾其先前建立的公式。遵循上述研究路线，我们专注于全批量设置，因为分析更易处理且效果更显著。我们定义一些符号以澄清以下讨论。在基于梯度的优化中，我们通过最小化损失函数L(θ)来训练参数θ，使用其一阶梯度g:=∇θL(θ)。我们可以直接使用这个梯度，或者通过某种输入相关的预条件器P和时间滤波器Q对其进行过滤，以生成与参数θ形状相同的参数更新u：  
θ_{t+1} = θ_t - η u_t，其中 u_t = P_t^{-1} (Q_t * g_{≤t})_t。  (♠)  
使用输入相关的预条件器P_t和作用于历史梯度信号g_{≤t}的因果梯度滤波器Q_t，这给出了具有内部状态的基于梯度的优化器的通用公式。这不仅包括梯度下降、Heavy Ball[48 (https://arxiv.org/html/2608.18415#bib.bib45)]、Nesterov动量[44 (https://arxiv.org/html/2608.18415#bib.bib46)]以及它们的各种预条件版本[16 (https://arxiv.org/html/2608.18415#bib.bib42);55 (https://arxiv.org/html/2608.18415#bib.bib43);27 (https://arxiv.org/html/2608.18415#bib.bib40);37 (https://arxiv.org/html/2608.18415#bib.bib41)]，还扩展到更特殊的时间滤波器，如双动量[30 (https://arxiv.org/html/2608.18415#bib.bib37);47 (https://arxiv.org/html/2608.18415#bib.bib39)]或准双曲动量（QHM）[40 (https://arxiv.org/html/2608.18415#bib.bib44)]。例如，梯度下降对应于P_t=I和Q_t=I，而带有动量系数β的Heavy Ball由Q* g_{≤t} = Σ_{k=0}^t β^k g_{t-k}表示。梯度滤波器Q的信号处理表示允许我们在频域中研究这个动态过程，即Q(z) = Σ_{t=0}^∞ Q_t z^{-t}。我们还假设其直流增益归一化为Q(1)=1，因此学习率η完全负责系统的增益。这简化了分析而不失一般性。  

通过广泛的观察，文献[13 (https://arxiv.org/html/2608.18415#bib.bib4);12 (https://arxiv.org/html/2608.18415#bib.bib26)]将稳定性边缘公式化为一个预条件器P的函数和一个动量系数β的函数的*可分离*乘积：  
η λₘₐₓ(P_t^{-1/2} H_t P_t^{-1/2}) Γ(β) < 2，  (3)  
其中H_t是时刻t的海森矩阵。例如，Heavy Ball给出Γ(β)=1/(1+β)，归一化Heavy Ball给出Γ(β)=(1-β)/(1+β)，Nesterov动量给出Γ(β)=(1+2β)/(1+β)，依此类推。已经证明，对于每种动量类型，这对冻结的二次系统来说是一个临界稳定性条件[12 (https://arxiv.org/html/2608.18415#bib.bib26)]。以下命题将他们的结果推广到任何(♠)类型的基于梯度的优化器。  

#### 命题 2.1（有状态优化器的稳定性边缘）  
[证明 (https://arxiv.org/html/2608.18415#A2.SS2)]  
考虑由更新规则(♠)给出的动力系统。令(λ, v)为预条件海森矩阵P_t^{-1/2} H_t P_t^{-1/2}的任意特征对。则Q(z)的根轨迹首次穿过单位圆时的增益k⋆(Q)由下式给出：  
k⋆(Q) = min_{ω∈Ω₊(Q)} || (1 - e^{iω}) / Q(e^{iω}) ||，其中Ω₊(Q) := {ω∈(0, π] : (1 - e^{iω}) / Q(e^{iω}) ∈ ℝ_{>0}}，  (4)  
Ω₊(Q)是单位圆上频率的集合，在这些频率上轨迹可以以实正增益穿过。如果我们令Γ := 2/k⋆(Q)，则冻结二次系统的等效稳定性条件为：  
η λ Γ ≤ 2。  (♣)  
此外，如果首次穿过单位圆发生在奈奎斯特频率z=-1且Q(-1)>0处，即周期2振荡，则Γ=Q(-1)，稳定性条件变为η λ Q(-1) ≤ 2。  

#### 推论 2.2（恢复文献[12 (https://arxiv.org/html/2608.18415#bib.bib26)]的公式）  
[证明 (https://arxiv.org/html/2608.18415#A2.SS4)]  
对于基于动量的优化器，不等式(3)中的系数Γ(β)是在奈奎斯特频率z=-1处取得的，即Γ(β)=Q(-1)（对于直流增益归一化的Heavy Ball和Nesterov动量）。  

**图2**：优化器的根轨迹。有可能在z≠-1处离开单位圆...