梯度下降早期动力学中逻辑回归的非渐近隐式偏差

# 逻辑回归在梯度下降早期阶段的非渐近隐式偏置
Source: https://arxiv.org/html/2608.04382

###### 摘要

梯度下降在现代机器学习中一直备受关注，而不仅仅局限于优化本身。优化过程中产生的隐式偏置虽然并非由学习目标显式编码，却常常能防止对虚假模式的过拟合。一个典型例子是线性分类器的最大间隔隐式偏置，这一结论对指数尾部损失函数已被广泛证明。即使在给定数据集已被分离之后，参数向量仍会沿着梯度下降动力学渐近地朝着最大间隔方向演化。这一现象印证了一个常见的经验观察：“训练时间越长，泛化越好。”然而，最大间隔收敛是一种渐近现象，更糟糕的是，其渐近收敛速率显著慢于纯凸优化。即便如此，在远少于渐近速率的迭代次数内，梯度下降动力学中的参数向量通常仍与最大间隔方向正相关（尽管并非精确对齐）。通过重新审视这一经典问题，本文旨在理解这种早期阶段对齐现象的机制。我们的理论结果表明，参数向量在 $O(\exp(\exp(-\delta)))$ 次迭代内与最大间隔方向实现弱对齐，其中 $\delta>0$ 是允许的对齐误差，且该界被证明是紧的。通过追踪径向流和切向流，我们的证明直接基于数据集几何作用于对齐动力学，摆脱了渐近展开，这正是建立更快弱对齐的关键洞见。

## 1 引言

考虑一个二元线性分类器 $f_{\mathbf{w}}: \mathbf{x} \mapsto \langle \mathbf{w}, \mathbf{x} \rangle$，它由参数向量 $\mathbf{w}\in\mathbb{R}^d$ 定义。设 $\ell: \mathbb{R}\to\mathbb{R}_{\geq 0}$ 是一个凸非增损失函数，通常为逻辑损失或指数损失，用于度量给定输入上的间隔。通过在一个训练数据集 $\mathcal{S} \coloneqq \{(\mathbf{x}_i, y_i)\}_{i=1}^n$ 上引入训练风险 $L(\mathbf{w}) \coloneqq n^{-1}\sum_{i=1}^n \ell(\langle \mathbf{w}, y_i\mathbf{x}_i \rangle)$，梯度下降的递归更新为 $\mathbf{w}(t+1) \coloneqq \mathbf{w}(t) - \eta \nabla L(\mathbf{w}(t))$，其中 $t=0,1,2,\dots$，$\eta>0$ 为固定步长。在过去十年中，研究表明梯度下降渐近地将参数方向 $\mathbf{w}(t)/\|\mathbf{w}(t)\|$ 引向数据集 $\mathcal{S}$ 的最大间隔方向 $\mathbf{u}_*\in\mathbb{S}^{d-1}$。这被称为梯度下降的*隐式偏置*，即尽管风险最小化问题并未显式编码最大间隔，最大间隔收敛仍然会发生。Soudry 等人 [28 (https://arxiv.org/html/2608.04382#bib.bib28)] 在线性可分条件下证明了最大间隔隐式偏置，随后被推广到不可分场景 [12 (https://arxiv.org/html/2608.04382#bib.bib12)]。最大间隔收敛通过基于间隔的泛化界 [15 (https://arxiv.org/html/2608.04382#bib.bib15), 27 (https://arxiv.org/html/2608.04382#bib.bib27), 26 (https://arxiv.org/html/2608.04382#bib.bib26)] 以及对输入扰动的鲁棒性 [36 (https://arxiv.org/html/2608.04382#bib.bib36)] 影响测试性能，因而具有实际意义。然而，渐近对齐以 $\widetilde{O}(1/\log^2 t)$ 的速率进行，是出了名的慢，与梯度下降在凸光滑函数上标准的 $O(1/t)$ 优化收敛速率相比不尽如人意。除非使用激进的大步长 [20 (https://arxiv.org/html/2608.04382#bib.bib20)]（接近归一化梯度下降），否则这种缓慢的参数对齐无法得到改善。那么，我们能否在某种意义下期望梯度下降具有更快的参数对齐呢？

图 1：使用指数损失 $\ell_{\text{exp}}(m) \coloneqq \exp(-m)$ 运行梯度下降的模拟：（左）一个间隔较大的训练数据集；（右）一个间隔较小的训练数据集。每幅图展示了训练风险 $L(\mathbf{w}(t))$、径向分量 $\|\mathbf{w}(t)\|$、参数对齐度 $\langle \mathbf{u}(t), \mathbf{u}_* \rangle$（其中 $\mathbf{u}(t) \coloneqq \mathbf{w}(t)/\|\mathbf{w}(t)\|$）以及损失景观中的切向轨迹（即归一化参数 $\mathbf{u}(t)$ 的轨迹）随时间的变化。在损失景观图中，圆点表示切向分量 $\mathbf{u}(t)$，颜色越深表示 $t$ 越早，颜色越浅表示 $t$ 越晚；左、右两例分别每 70 和 50 次迭代绘制一次 $\mathbf{u}(t)$；黑色和黄色箭头分别表示最大间隔方向 $\mathbf{u}_*$ 和最终参数 $\mathbf{w}(T)$。在附录 F (https://arxiv.org/html/2608.04382#A6) 中，还给出了未归一化的参数轨迹 $\mathbf{w}(t)$ 以及定量的对齐时间。详细的模拟设置也在该处给出。

**关键观察**：与径向增长 $\|\mathbf{w}(t)\|$ 相比，参数对齐度 $\langle \mathbf{u}(t), \mathbf{u}_* \rangle$ 的饱和速度显著更快，这也可以从参数轨迹中看出，因为切向轨迹在早期阶段就被扫过，图中用较深的圆点表示。

考虑图 1 中的数值模拟：梯度下降在两个不同的训练数据集上运行，其中一个具有较大间隔（左图），另一个具有较小间隔（右图）。记 $\mathbf{u}(t) \coloneqq \mathbf{w}(t)/\|\mathbf{w}(t)\|$ 为 $\mathbf{w}(t)$ 的切向分量。在两种情况下，径向分量 $\|\mathbf{w}(t)\|$ 都增长缓慢，而参数对齐度 $\langle \mathbf{u}(t), \mathbf{u}_* \rangle$