normalized-methods

本文研究了Blum-Gladyshev噪声下的非凸随机优化，其中梯度方差随与初始点的距离增长。证明了带有动量的归一化SGD和方差缩减STORM方法的收敛性保证，在某些条件下达到了极小极大最优速率。