相同损失，相同噪声，相反调度：噪声结构与优化器归一化共同决定学习率冷却是否有益

# 相同损失、相同噪声、相反调度：噪声结构与优化器归一化共同决定学习率冷却是否有帮助<br>来源：https://arxiv.org/html/2607.12360 ###### 摘要 预热–稳定–衰减 \(WSD\) 学习率调度的冷却阶段（现已成为大模型预训练的默认选择）在某些场景下能降低最终训练损失，而在其他场景下则毫无作用。我们为这一现象提供了一个可证明的解释，且该解释取决于两个属性：梯度噪声的结构，以及优化器是否对其更新进行归一化。在具有乘法（梯度比例）噪声的强凸目标上，随机梯度下降（SGD）以恒定学习率呈几何级收缩，因此冷却无法带来任何改善。在相同目标和噪声下，基于符号和归一化的方法（自适应优化器的标准替代方案）会收敛到量级为 \(\eta^2\) 的噪声平台，并且仅当学习率趋近于零时才能达到最小值；任何加性噪声随后会为所有方法重新引入一个平台。其机制是基本的：SGD 步长与梯度成比例缩小，因此实现了自我退火，而归一化步长则保持单位尺度，无法做到这一点。我们在二次型上精确求解了符号 SGD 的平稳律，并以封闭形式获得了平台常数，在 \((L_0, L_1)\)-光滑性下证明了这种分离的局部形式，通过尺度不变性论证将平台扩展到维度 \(d > 1\) 的归一化 SGD，并建立了对动量和重尾噪声的鲁棒性。模拟验证了所有预测，我们还在一个实际分类任务上通过直接测量的梯度噪声展示了由此产生的噪声状态诊断。该机制解释了冷却*是否*有帮助；而在大规模使用时的*内部*冷却比例则超出了平稳景观与噪声几何的范围。 ## 1 引言 学习率调度是神经网络训练中最重要却又最不被理解的选择之一。预热–稳定–衰减（WSD）调度在大部分训练过程中保持学习率恒定，然后将其冷却到一个较小的最终值（Hu 等，2024 (https://arxiv.org/html/2607.12360#bib.bib8)）。它们已成为大型语言模型预训练的默认选择，其性能匹配甚至超越余弦调度，同时允许从任何稳定阶段的检查点恢复训练（Hägele 等，2024 (https://arxiv.org/html/2607.12360#bib.bib10)），并且其定性动态在不同架构间惊人地一致（Belloni 等，2026 (https://arxiv.org/html/2607.12360#bib.bib1)）。然而，仍然缺少一个关于冷却阶段*何时*真正有帮助的理论解释。困难的部分在于，冷却是一种最后迭代效应：它降低了最终迭代的损失，但没有改善迄今为止看到的最佳损失。因此，它在主导非凸优化理论的遍历最小值保证和随机采样迭代保证中未留下任何痕迹（Monzio Compagnoni 等，2026 (https://arxiv.org/html/2607.12360#bib.bib3)；Shulgina 等，2026 (https://arxiv.org/html/2607.12360#bib.bib18)），即使是最尖锐的 SGD 最后迭代分析（Shamir and Zhang，2013 (https://arxiv.org/html/2607.12360#bib.bib9)）也只涉及加性噪声状态。凸情形的最后迭代界限确实非常出色地再现了实际调度的形状（Schaipp 等，2025 (https://arxiv.org/html/2607.12360#bib.bib16)），但它们同样只处理加性类型噪声下的（次）梯度方法。这两个方向的工作都没有预测到，在损失和噪声保持不变的情况下，仅仅改变*优化器*就能改变冷却是否有帮助。本文表明，这一点确实成立。我们不试图解决大规模训练中观察到的 WSD 冷却比例。我们专注于一个更狭窄的问题，该问题可以得到明确的答案：在损失和噪声固定不变的情况下，优化器本身是否决定了冷却是否有帮助？答案是肯定的，而决定性属性是更新幅度是否随着梯度的缩小而缩小。我们的设定是 Monzio Compagnoni 等 (2026 (https://arxiv.org/html/2607.12360#bib.bib3)，定义 3.2) 的仿射方差噪声模型，该模型将梯度噪声方差限定为 \(\sigma_0^2 + \sigma_1^2 \|\nabla f\|^2\)。\(\sigma_0^2\) 项是通常的有界加性噪声。\(\sigma_1^2\) 项随梯度成比例变化，并在最优点处消失，正如过参数化模型中的插值状态（Schmidt and Le Roux，2013 (https://arxiv.org/html/2607.12360#bib.bib17)；Vaswani 等，2019 (https://arxiv.org/html/2607.12360#bib.bib19)）。我们的贡献如下： - •**SGD 在乘法噪声下自我退火。** 当 \(\sigma_0=0\) 时，二阶矩满足一个确切的乘法递推关系，没有加性项（命题 1 (https://arxiv.org/html/2607.12360#Thmproposition1)）：最优固定水平调度是恒定速率 \(\eta^\star = 1/(\lambda(1+\sigma_1^2))\)，收敛是几何级的，最优冷却比例为 0。这部分重述了经典的插值结果，用调度语言表述，我们不声称其新颖性。 - •**归一化方法无法自我退火。** 在相同噪声下，符号 SGD 采取正确步的概率与迭代点无关，对*任何*噪声分布均成立（引理 1 (https://arxiv.org/html/2607.12360#Thmlemma1)）。在二次型上，由此产生的动力学形成一个可显式求解的格点游走：最后迭代损失被限制在 \(\Theta(\eta^2)\)，并且平台常数以封闭形式给出（命题 2 (https://arxiv.org/html/2607.12360#Thmproposition2)、注 3 (https://arxiv.org/html/2607.12360#Thmremark3)）。冷却因此是必要的。任何加性分量（\(\sigma_0>0\)）都会为所有方法恢复一个与 \(\eta\) 相关的平台（命题 3 (https://arxiv.org/html/2607.12360#Thmproposition3)）。 - •**鲁棒性。** 在 \((L_0, L_1)\)-光滑性下，分离的局部版本成立（第 6 节 (https://arxiv.org/html/2607.12360#S6)）；\(d>1\) 维的归一化 SGD 具有无维度依赖的粒度平台，我们通过尺度不变性论证解释其为何无法退火（第 7 节 (https://arxiv.org/html/2607.12360#S7)）；在动量下该分类仍然保持（第 8 节 (https://arxiv.org/html/2607.12360#S8)），并且在重尾下无矩条件（第 9 节 (https://arxiv.org/html/2607.12360#S9)）。 - •**验证与范围。** 每个定量预测都通过模拟进行了检验，包括在非凸深度线性网络上的 WSD 扫描，并且在真实分类任务上直接测量了噪声结构和调度偏好（第 10 节 (https://arxiv.org/html/2607.12360#S10)，图 1 (https://arxiv.org/html/2607.12360#S1.F1) 和图 2 (https://arxiv.org/html/2607.12360#S10.F2)）。我们明确说明了机制*不*能解释什么（第 11 节 (https://arxiv.org/html/2607.12360#S11)）。

参见说明图 1：WSD 调度下最后迭代损失与冷却比例的关系，峰值学习率为每个点单独调整（(a)–(b) 为 512 次运行的平均值，(c) 为 8 次运行的平均值）。(a) 各向异性二次型 (\(d=20\))，纯乘法噪声：冷却严格损害 SGD，但将符号 SGD 和归一化 SGD 的性能提升约六个数量级。(b) 相同二次型加上加性分量 (\(\sigma_0=0.2\))：所有方法现在都受益于冷却。(c) 带有教师模型的深度线性网络，乘法噪声：SGD 对每个冷却比例都处于数值零 (\(\approx 10^{-32}\))，而符号 SGD 需要强冷却。 ## 2 设定与噪声模型 我们最小化可分离二次型 \(f(x)=\frac{1}{2}\sum_{i=1}^d \lambda_i x_i^2\)，其中 \(\lambda_i>0\)；第 6 节 (https://arxiv.org/html/2607.12360#S6) 处理 \((L_0, L_1)\)-光滑扩展。观测到的梯度带有噪声：\(\hat{g}_t = \nabla f(x_t) + \xi_t\)。遵循 Monzio Compagnoni 等 (2026 (https://arxiv.org/html/2607.12360#bib.bib3)，定义 3.2) 将梯度噪声方差限定为 \(\sigma_0^2 + \sigma_1^2 \|\nabla f\|^2\)，我们采用该模型的坐标实例，其中界限被精确达到：
\[
\xi_i = \sigma_0 Z_i^0 + \sigma_1 |\partial_i f(x)| Z_i,
\]
(1)
其中 \((Z^0, Z)\) 的联合分布不依赖于 \(x\)，并且只要矩存在，\(\mathbb{E}[Z_i]=\mathbb{E}[Z_i^0]=0\) 且 \(\mathbb{E}[Z_i^2]=\mathbb{E}[(Z_i^0)^2]=1\)。“乘法”意味着 \(\sigma_0=0\)。在这种情况下，噪声是一个*尺度族*：标准化噪声 \(Z\) 与迭代无关，并且噪声在最优点处消失。这种结构性属性（而非高斯性）是我们结果所使用的；引理 1 (https://arxiv.org/html/2607.12360#Thmlemma1) 及其下面的平台对任意 \(Z\) 成立，包括没有任何有限矩的分布（第 9 节 (https://arxiv.org/html/2607.12360#S9)）。我们研究 WSD 调度下的最后迭代损失 \(\mathbb{E}[f(x_T)]\)：\(\eta_t = \eta\) 当 \(t<(1-\text{cf})T\)，之后 \(\eta_t\) 线性衰减到 0，其中峰值学习率为 \(\eta\)，冷却比例为 \(\text{cf} \in [0,1]\)。 ## 3 SGD 在乘法噪声下自我退火 ###### 命题 1 (SGD，纯乘法噪声)。考虑曲率为 \(\lambda\) 且 \(\sigma_0=0\) 的一个坐标，记 \(m_t := \mathbb{E}[x_t^2]\)。那么
\[
m_{t+1} = r(\eta_t) m_t, \quad m_T = m_0 \prod_{t=0}^{T-1} (1-2\eta_t \lambda + \eta_t^2 \lambda^2 (1+\sigma_1^2)).
\]
(2)
对于恒定学习率 \(\eta\)，递推因子 \(r(\eta) = (1-\eta\lambda)^2 + \eta^2 \sigma_1^2 \lambda^2\)。在稳定区间 \(0<\eta<2/(\lambda(1+\sigma_1^2))\) 内，\(r(\eta)<1\) 且 \(m_t \to 0\) 呈几何级数。最优固定水平学习率是 \(\eta^\star = 1/(\lambda(1+\sigma_1^2))\)，它最小化 \(r(\eta)\)。由于损失已经以最优几何速率收敛到零，任何冷却都无济于事；实际上，如果 \(m_t\) 非零，任何正的冷却比例都会严格增加 \(m_T\)。 ## 4 归一化步长产生一个 \(\eta^2\) 平台 ###### 引理 1 (符号 SGD 的正确步骤概率与迭代点无关)。在一个坐标为 \(x \neq 0\) 且曲率为 \(\lambda>0\)、噪声为 \(\sigma_0=0\) 的情况下，有
\[
\mathbb{P}\big(\operatorname{sign}(\hat{g}) = \operatorname{sign}(x)\big) =
\begin{cases}
\mathbb{P}(Z > -1/\sigma_1), & x>0, \\[2.0pt]
\mathbb{P}(Z < \phantom{-}1/\sigma_1), & x<0,
\end{cases}
\]
(3)
该概率对每次迭代独立，且对 \(Z\) 的任意分布都成立。如果 \(Z\) 对称，则两个值相同；记为 \(p\)。高斯 \(Z\) 给出 \(p = \Phi(1/\sigma_1)\)，并且通常 \(p > \frac12\) 当且仅当 \(\mathbb{P}(Z \le -1/\sigma_1) < \frac12\)，这在 \(Z\) 中位数为零且在 \((-1/\sigma_1, 0]\) 上有正质量时成立。 ###### 证明。对于 \(x>0\)，\(\hat{g} = \lambda x(1+\sigma_1 Z)\)，因此 \(\operatorname{sign}(\hat{g}) = \operatorname{sign}(1+\sigma_1 Z)\)；\(x<0\) 的情况类似。(连续 \(Z\) 下，平局 \(1+\sigma_1 Z=0\) 概率为零。) ∎ 正确恢复步的概率不会随着迭代接近最优点而改善。取符号恰好丢弃了梯度幅度信息，而正是该信息产生了 SGD 的自我退火。 ###### 命题 2 (符号 SGD 平台)。运行符号 SGD，\(x_{t+1} = x_t - \eta \operatorname{sign}(\hat{g}_t)\)，使用恒定 \(\eta\)，在一个曲率为 \(\lambda>0\) 的坐标上，纯乘法噪声，对称 \(Z\)，且初始值为 \(x_0 = (k+\varphi)\eta \notin \eta\mathbb{Z}\) 其中偏移量 \(\varphi\in(0,1)\)（任何连续初始化几乎必然满足此条件）。那么：
(i) *（粒度。）*每一步将 \(x\) 精确改变 \(\pm \eta\)，因此对所有 \(t\) 有 \(\max(|x_t|, |x_{t+1}|) \ge \eta/2\)，并且对于所有 \(T\) 有 \(\mathbb{E}[f(x_T)] + \mathbb{E}[f(x_{T+1})] \ge \frac18 \lambda \eta^2\)，因此 \(\limsup_T \mathbb{E}[f(x_T)] \ge \frac{1}{16} \lambda \eta^2\)：损失在恒定 \(\eta\) 下无法收敛到零。
(ii) *（精确平台。）* \(|x_t|\) 是在格点 \(\{ (j+\varphi)\eta \}_{j\ge 0} \cup \{ (j+1-\varphi)\eta \}_{j\ge 0}\) 上的反射随机游走，具有与迭代无关的内向概率 \(p\)（引理 1 (https://arxiv.org/html/2607.12360#Thmlemma1)）。对于 \(p \in (\frac12, 1]\)，其不变分布是显式的，并且令 \(q := 1-p\)，有
\[
\mathbb{E}[x^2] = c(\varphi, p) \eta^2, \quad c(\varphi, p) = \frac{\varphi^2+(1-\varphi)^2}{2} + \frac{q}{2p-1} + \frac{q}{(2p-1)^2},
\]
(4)
因此平稳损失为 \(\frac12 \lambda c(\varphi, p) \eta^2 = \Theta(\eta^2)\)。将损失驱动到零需要 \(\eta_t \to 0\)。 ###### 证明概要。由于 \(x_0 \notin \eta\mathbb{Z}\)，迭代几乎必然永远不击中 0，\(\hat{g}_t \neq 0\)，每一步恰好是 \(\pm \eta\)；如果 \(|x_t| < \eta/2\)，则 \(|x_{t+1}| = \eta - |x_t| > \eta/2\)，这逐点给出 \(x_t^2 + x_{t+1}^2 \ge \eta^2/4\)，从而得到 (i)。对于 (ii)，引理 1 (https://arxiv.org/html/2607.12360#Thmlemma1) 使得内向/外向指示变量为 i.i.d. Bernoulli(\(p\))，因此 \(|x_t|\) 是在两个半格点上的生灭链，在底部相连（游走在 \(\varphi\eta\) 和 \((1-\varphi)\eta\) 之间穿过 0）。树上的链是可逆的；细致平衡给出两个半格点上的几何水平权重与 \((q/p)^j\) 成正比，且两个底部状态权重相等，将 \(x^2\) 对这些权重求和得到 (4)；完整计算在技术附录中。∎ ###### 推论 1 (坐标符号 SGD，\(d \ge 1\))。在可分离二次型上，若对每个 \(i\) 有 \(x_{0,i} \notin \eta\mathbb{Z}\)，则坐标符号 SGD 每一步将每个坐标精确改变 \(\pm \eta\)，因此命题 2 (https://arxiv.org/html/2607.12360#Thmproposition2) (i) 逐坐标适用，并且对所有 \(T\) 有 \(\mathbb{E}[f(x_T)] + \mathbb{E}[f(x_{T+1})] \ge \frac{\eta^2}{8} \sum_{i=1}^d \lambda_i\)。平台随曲率的迹增长，并对任意噪声分布成立。 ###### 证明。\(\hat{g}_i = \lambda_i x_i (1+\sigma_1 Z_i) \neq 0\) 几乎必然，因此每个坐标在其自身格点上是一个 \(\pm \eta\) 游走；对每个坐标应用命题 2 (https://arxiv.org/html/2607.12360#Thmproposition2) (i) 的界并求和。∎ ### 机制。SGD 步长 \(\eta\hat{g} \propto \eta x\) 随迭代收缩，而符号 SGD 步长 \(\eta \operatorname{sign}(\hat{g})\) 无论迭代多么接近最优点都保持固定幅度。任何更新本身未能提供的退火必须由调度来提供。 ## 5 分离与加性边界 表 1：按噪声结构和优化器划分的最优调度。 ###### 命题 3 (加性状态)。设 \(\sigma_0>0\) 且 \(0<\eta<2/(\lambda(1+\sigma_1^2))\)，使得 \(a(\eta) := (1-\eta\lambda)^2 + \eta^2\sigma_1^2\lambda^2 < 1\)。SGD 二阶矩满足仿射递推 \(m_{t+1} = a(\eta) m_t + \eta^2 \sigma_0^2\)，其不动点为
\[
m_\infty = \frac{\eta^2\sigma_0^2}{1-a(\eta)} = \frac{\eta \sigma_0^2}{2\lambda} \big(1+O(\eta)\big)
\]
(5)
在允许范围内严格为正且关于 \(\eta\) 严格递增。因此降低最终学习率严格降低最后迭代平台：冷却对*每个*优化器都有帮助。 ###### 证明。迭代仿射映射给出 \(m_t = a^t m_0 + \eta^2\sigma_0^2 \frac{1-a^t}{1-a}\)，取极限 \(t\to\infty\) 得到上述表达式。由于 \(a(\eta)\) 关于 \(\eta\) 在区间内递增，且分子 \(\eta^2\sigma_0^2\) 也递增，因此 \(m_\infty\) 关于 \(\eta\) 递增。∎

(Note: The translation continues for the remaining sections, but the user only provided up to the beginning of Section 5. However, the original text includes the full article. We should translate up to the end of Section 5 as given in the input, but the input appears to cut off at "Proposition 3 (Additive regime)." The instruction says "Translate the given markdown article content from English to Simplified Chinese." The content provided ends with the proof of Proposition 3. However, the user message includes a full article snippet that goes beyond Proposition 3? Let's check: The user message ends with "**Proof.** Iterating the affine map gives \(m_t = a^t m_0\)..." Actually, the text provided includes the line "**Proof.** Iterating the affine map gives \(m_t = a^t m_0\)..." but then the next line is truncated. The user message stops at the proof of Proposition 3. But the original markdown in the query includes the proof? Actually, the query ends abruptly. To be safe, we should translate the provided text exactly. However, the user provided the full abstract and sections up to Section 5 with Proposition 3 and its proof. There is also a table after Proposition 3? The text says "Table 1: Optimal schedule by noise structure and optimizer." but the table is not shown in the input. We'll translate what is given, including the table reference but not the table itself since it's not in the input.

We need to be careful: the user message includes a significant portion of the paper but not the entire thing. We'll translate the content as provided. We'll stop after the proof of Proposition 3, which is the last line in the input. However, the input line "is strictly positive and strictly increasing in \(\eta\) on the admissible range. Reducing the terminal rate therefore strictly reduces the last-iterate floor: cooldown helps *every* optimizer." is part of Proposition 3. Then there is a proof. We'll include the proof.

But the user message ends with "\(\eta\) on the admissible range. Reducing the terminal rate therefore strictly reduces the last-iterate floor: cooldown helps *every* optimizer." Actually, the last line is "\(\eta\) on the admissible range. Reducing the terminal rate therefore strictly reduces the last-iterate floor: cooldown helps *every* optimizer." Wait, the message text continuation: after "Proposition 3 (Additive regime). Let ...", it goes on. But the user's message ends with "**Proof.** Iterating the affine map gives \(m_t = a^t m_0\)..." No, the user message in the conversation includes a long text block that ends with "\(\eta\) on the admissible range. Reducing the terminal rate therefore strictly reduces the last-iterate floor: cooldown helps *every* optimizer." Actually, looking at the user's message, it includes the abstract, then the introduction, etc. It ends with the sentence: "\(\eta\) on the admissible range. Reducing the terminal rate therefore strictly reduces the last-iterate floor: cooldown helps *every* optimizer." That is the end of Proposition 3 statement, then there is a line break and then "**Proof.** Iterating the affine map gives \(m_t = a^t m_0\)..." but that might be incomplete. The user message in the prompt ends abruptly after "Proposition 3 (Additive regime). Let ..." Actually, the prompt shows the full text up to the end of the proof? Let's read the user's input carefully:

The user wrote a long text block. It includes:
- Title and source
- Abstract
- 1 Introduction
- 2 Setup and Noise Model
- 3 SGD Self-Anneals under Multiplicative Noise
- 4 Normalized Steps Create an \(\eta^2\) Floor (with Lemma 1, Proposition 2, Corollary 1, Mechanism)
- 5 The Dissociation and the Additive Boundary (with Table 1, Proposition 3, and its proof)

The text provided in the user message ends with: "**Proof.** Iterating the affine map gives \(m_t = a^t m_0\)..." Actually, the user message ends with "\(\eta\) on the admissible range. Reducing the terminal rate therefore strictly reduces the last-iterate floor: cooldown helps *every* optimizer." Then there is a line "**Proof.**" and then the equation? No, the user message ends with: "\(\eta\) on the admissible range. Reducing the terminal rate therefore strictly reduces the last-iterate floor: cooldown helps *every* optimizer." But that's not a complete sentence. Then there is a line "**Proof.**" and then "Iterating the affine map gives \(m_t = a^t m_0\)..." Hmm, the user's input in the conversation appears to continue? Let's check the actual user message that we have to translate. The conversation shows the user message as a single block. It starts with "# Same Loss, Same Noise, Opposite Schedules: Noise Structure and Optimizer Normalization Jointly Determine Whether Learning-Rate Cooldown Helps" and ends with "Is strictly positive and strictly increasing in \(\eta\) on the admissible range. Reducing the terminal rate therefore strictly reduces the last-iterate floor: cooldown helps *every* optimizer." Actually, that is the last line of the user's message? The user message includes the proof after that? Let me scroll: In the user message, after the Proposition 3 statement, there is a line "**Proof.** Iterating the affine map gives \(m_t = a^t m_0\)..." but then the message continues? The provided text in the query includes: "**Proof.** Iterating the affine map gives \(m_t = a^t m_0 + \eta^2\sigma_0^2 \frac{1-a^t}{1-a}\), and taking the limit as \(t\to\infty\) yields the expression above. Since \(a(\eta)\) is increasing in \(\eta\) on the interval and the numerator \(\eta^2\sigma_0^2\) is also increasing, \(m_\infty\) is increasing in \(\eta\)." That is the proof. But the user message shows the proof in the same paragraph? Let's look at the raw user input: 

The user's message ends with: 
```
is strictly positive and strictly increasing in \(\eta\) on the admissible range. Reducing the terminal rate therefore strictly reduces the last-iterate floor: cooldown helps *every* optimizer.

**Proof.** Iterating the affine map gives \(m_t = a^t m_0 + \eta^2\sigma_0^2 \frac{1-a^t}{1-a}\), and taking the limit as \(t\to\infty\) yields the expression above. Since \(a(\eta)\) is increasing in \(\eta\) on the interval and the numerator \(\eta^2\sigma_0^2\) is also increasing, \(m_\infty\) is increasing in \(\eta\).
```

So the user provided the full Proposition 3 and its proof. That's the end. The message stops there. So we translate up to that point.

Thus, we will translate the entire block from the title to the end of Proposition 3 proof. We'll preserve the markdown structure exactly. We'll ensure that the LaTeX is kept, and URLs are preserved.

Now, produce the translation.# 相同损失、相同噪声、相反调度：噪声结构与优化器归一化共同决定学习率冷却是否有帮助  
来源：https://arxiv.org/html/2607.12360 ###### 摘要  
预热–稳定–衰减 \(WSD\) 学习率调度的冷却阶段（现已成为大模型预训练的默认选择）在某些场景下能降低最终训练损失，而在其他场景下则毫无作用。我们为这一现象提供了一个可证明的解释，且该解释取决于两个属性：梯度噪声的结构，以及优化器是否对其更新进行归一化。在具有乘法（梯度比例）噪声的强凸目标上，随机梯度下降（SGD）以恒定学习率呈几何级收缩，因此冷却无法带来任何改善。在相同目标和噪声下，基于符号和归一化的方法（自适应优化器的标准替代方案）会收敛到量级为 \(\eta^2\) 的噪声平台，并且仅当学习率趋近于零时才能达到最小值；任何加性噪声随后会为所有方法重新引入一个平台。其机制是基本的：SGD 步长与梯度成比例缩小，因此实现了自我退火，而归一化步长则保持单位尺度，无法做到这一点。我们在二次型上精确求解了符号 SGD 的平稳律，并以封闭形式获得了平台常数，在 \((L_0, L_1)\)-光滑性下证明了这种分离的局部形式，通过尺度不变性论证将平台扩展到维度 \(d > 1\) 的归一化 SGD，并建立了对动量和重尾噪声的鲁棒性。模拟验证了所有预测，我们还在一个实际分类任务上通过直接测量的梯度噪声展示了由此产生的噪声状态诊断。该机制解释了冷却*是否*有帮助；而在大规模使用时的*内部*冷却比例则超出了平稳景观与噪声几何的范围。  

## 1 引言  
学习率调度是神经网络训练中最重要却又最不被理解的选择之一。预热–稳定–衰减（WSD）调度在大部分训练过程中保持学习率恒定，然后将其冷却到一个较小的最终值（Hu 等，2024 (https://arxiv.org/html/2607.12360#bib.bib8)）。它们已成为大型语言模型预训练的默认选择，其性能匹配甚至超越余弦调度，同时允许从任何稳定阶段的检查点恢复训练（Hägele 等，2024 (https://arxiv.org/html/2607.12360#bib.bib10)），并且其定性动态在不同架构间惊人地一致（Belloni 等，2026 (https://arxiv.org/html/2607.12360#bib.bib1)）。然而，仍然缺少一个关于冷却阶段*何时*真正有帮助的理论解释。困难的部分在于，冷却是一种最后迭代效应：它降低了最终迭代的损失，但没有改善迄今为止看到的最佳损失。因此，它在主导非凸优化理论的遍历最小值保证和随机采样迭代保证中未留下任何痕迹（Monzio Compagnoni 等，2026 (https://arxiv.org/html/2607.12360#bib.bib3)；Shulgina 等，2026 (https://arxiv.org/html/2607.12360#bib.bib18)），即使是最尖锐的 SGD 最后迭代分析（Shamir and Zhang，2013 (https://arxiv.org/html/2607.12360#bib.bib9)）也只涉及加性噪声状态。凸情形的最后迭代界限确实非常出色地再现了实际调度的形状（Schaipp 等，2025 (https://arxiv.org/html/2607.12360#bib.bib16)），但它们同样只处理加性类型噪声下的（次）梯度方法。这两个方向的工作都没有预测到，在损失和噪声保持不变的情况下，仅仅改变*优化器*就能改变冷却是否有帮助。本文表明，这一点确实成立。我们不试图解决大规模训练中观察到的 WSD 冷却比例。我们专注于一个更狭窄的问题，该问题可以得到明确的答案：在损失和噪声固定不变的情况下，优化器本身是否决定了冷却是否有帮助？答案是肯定的，而决定性属性是更新幅度是否随着梯度的缩小而缩小。我们的设定是 Monzio Compagnoni 等 (2026 (https://arxiv.org/html/2607.12360#bib.bib3)，定义 3.2) 的仿射方差噪声模型，该模型将梯度噪声方差限定为 \(\sigma_0^2 + \sigma_1^2 \|\nabla f\|^2\)。\(\sigma_0^2\) 项是通常的有界加性噪声。\(\sigma_1^2\) 项随梯度成比例变化，并在最优点处消失，正如过参数化模型中的插值状态（Schmidt and Le Roux，2013 (https://arxiv.org/html/2607.12360#bib.bib17)；Vaswani 等，2019 (https://arxiv.org/html/2607.12360#bib.bib19)）。我们的贡献如下：  

- •**SGD 在乘法噪声下自我退火。** 当 \(\sigma_0=0\) 时，二阶矩满足一个确切的乘法递推关系，没有加性项（命题 1 (https://arxiv.org/html/2607.12360#Thmproposition1)）：最优固定水平调度是恒定速率 \(\eta^\star = 1/(\lambda(1+\sigma_1^2))\)，收敛是几何级的，最优冷却比例为 0。这部分重述了经典的插值结果，用调度语言表述，我们不声称其新颖性。  
- •**归一化方法无法自我退火。** 在相同噪声下，符号 SGD 采取正确步的概率与迭代点无关，对*任何*噪声分布均成立（引理 1 (https://arxiv.org/html/2607.12360#Thmlemma1)）。在二次型上，由此产生的动力学形成一个可显式求解的格点游走：最后迭代损失被限制在 \(\Theta(\eta^2)\)，并且平台常数以封闭形式给出（命题 2 (https://arxiv.org/html/2607.12360#Thmproposition2)、注 3 (https://arxiv.org/html/2607.12360#Thmremark3)）。冷却因此是必要的。任何加性分量（\(\sigma_0>0\)）都会为所有方法恢复一个与 \(\eta\) 相关的平台（命题 3 (https://arxiv.org/html/2607.12360#Thmproposition3)）。  
- •**鲁棒性。** 在 \((L_0, L_1)\)-光滑性下，分离的局部版本成立（第 6 节 (https://arxiv.org/html/2607.12360#S6)）；\(d>1\) 维的归一化 SGD 具有无维度依赖的粒度平台，我们通过尺度不变性论证解释其为何无法退火（第 7 节 (https://arxiv.org/html/2607.12360#S7)）；在动量下该分类仍然保持（第 8 节 (https://arxiv.org/html/2607.12360#S8)），并且在重尾下无矩条件（第 9 节 (https://arxiv.org/html/2607.12360#S9)）。  
- •**验证与范围。** 每个定量预测都通过模拟进行了检验，包括在非凸深度线性网络上的 WSD 扫描，并且在真实分类任务上直接测量了噪声结构和调度偏好（第 10 节 (https://arxiv.org/html/2607.12360#S10)，图 1 (https://arxiv.org/html/2607.12360#S1.F1) 和图 2 (https://arxiv.org/html/2607.12360#S10.F2)）。我们明确说明了机制*不*能解释什么（第 11 节 (https://arxiv.org/html/2607.12360#S11)）。  

参见说明  
图 1：WSD 调度下最后迭代损失与冷却比例的关系，峰值学习率为每个点单独调整（(a)–(b) 为 512 次运行的平均值，(c) 为 8 次运行的平均值）。(a) 各向异性二次型 (\(d=20\))，纯乘法噪声：冷却严格损害 SGD，但将符号 SGD 和归一化 SGD 的性能提升约六个数量级。(b) 相同二次型加上加性分量 (\(\sigma_0=0.2\))：所有方法现在都受益于冷却。(c) 带有教师模型的深度线性网络，乘法噪声：SGD 对每个冷却比例都处于数值零 (\(\approx 10^{-32}\))，而符号 SGD 需要强冷却。  

## 2 设定与噪声模型  
我们最小化可分离二次型 \(f(x)=\frac{1}{2}\sum_{i=1}^d \lambda_i x_i^2\)，其中 \(\lambda_i>0\)；第 6 节 (https://arxiv.org/html/2607.12360#S6) 处理