learning-rate-scaling

#learning-rate-scaling

深度标量线性网络中最优学习率缩放依赖于数据

arXiv cs.LG ↗ · 2026-07-10 缓存

本文证明，深度标量线性网络中的最优学习率缩放本质上依赖于数据，这与先前数据无关的缩放规则相矛盾。它表明，在依赖数据的缩放下，收敛变得与深度无关，包括在无限深度下。

0 人收藏 0 人点赞