标签
本文为无调度梯度下降和无调度随机梯度下降在非凸优化中提供了最坏情况收敛性分析，建立了最优速率和严格鞍点规避，从而从理论上证明了其实验成功。
本文介绍了SF-NorMuon，一种无调度频谱优化器，在参数规模达7.72亿的语言模型上匹配或超越调优后的AdamW，并提供了平稳性和长期稳定性的理论保证。