heavy-tailed-noise

本文首次对带动量的原始SGD在重尾噪声下（无需梯度裁剪或归一化）进行了全面的收敛性分析，揭示了其收敛速率劣于经过裁剪的变体，并在合成函数上进行了实验验证。