论文页面 - 你的学习率调度可能缺乏原则依据：权重归一化训练中的有效学习率调度

来源：https://huggingface.co/papers/2610.40362

摘要

权重归一化训练的收益主要由有效学习率轨迹驱动，这促使我们提出了一种仿射逆平方根调度，以改善大规模预训练损失和鲁棒性。

权重归一化 (WN) 训练正成为传统权重衰减 (https://huggingface.co/papers?q=weight%20decay) (WD) 的一种有吸引力的替代方案，近期研究报告称其能够显著降低预训练损失。我们表明，这些收益主要源于其引起的有效学习率 (https://huggingface.co/papers?q=effective%20learning%20rate) (ELR) 轨迹，而非仅仅源于归一化本身。匹配 ELR 轨迹后，WN 和 WD 的训练损失动态在很大程度上趋于一致。因此，调度设计应以 ELR 为目标，而不应仅关注名义学习率 (LR)。基于这一原则，我们提出了 AIR (https://huggingface.co/papers?q=AIR)（仿射逆平方根衰减 (https://huggingface.co/papers?q=Affine%20Inverse-square-Root%20decay)），将理论推导出的 1/t 衰减与仿射调整相结合，以在有限训练周期内满足预设的峰值和终点学习率。我们进一步发现，训练后期的 ELR 调度是其收益的关键来源，因为采用相同的后期调度会削弱早期学习率选择的影响。在 1280 亿 token 的混合专家 (https://huggingface.co/papers?q=Mixture-of-Experts) 预训练实验中，AIR (https://huggingface.co/papers?q=AIR) 在训练损失、下游性能和超参数鲁棒性 (https://huggingface.co/papers?q=hyperparameter%20robustness) 方面均优于余弦调度和其他候选调度；在累计学习率相同的条件下，相较余弦调度，其最终训练损失降低了约 0.01。将相同的 ELR 轨迹应用于 WD，可以复现相应的训练动态，这表明其益处并不限于固定范数训练，并确立了 ELR 作为具有原则依据的调度对象的地位。

查看 arXiv 页面 (https://arxiv.org/abs/2610.40362)查看 PDF (https://arxiv.org/pdf/2610.40362)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.40362)

引用此论文的模型0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.40362，即可从此页面链接到该模型。

引用此论文的数据集0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.40362，即可从此页面链接到该数据集。

引用此论文的 Spaces0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.40362，即可从此页面链接到该 Space。

包含此论文的合集0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集。