标签
本文为普通向量形式的Adam优化器在重尾随机噪声下建立了首个收敛保证，表明其收敛到驻点，但迭代复杂度次优；当已知域半径时，可提升至最优速率。
本文首次对带动量的原始SGD在重尾噪声下（无需梯度裁剪或归一化）进行了全面的收敛性分析，揭示了其收敛速率劣于经过裁剪的变体，并在合成函数上进行了实验验证。