标签
该论文确定了在重尾噪声（有界中心 p 阶矩，1<p≤2）下，平滑凸目标的裁剪 SGD 最后一次迭代的时间一致最优收敛速率，证明了无需已知时间跨度的调度可达 O~(t^{-2(p-1)/(3p-1)})，且不存在更优的规则，回答了未知停止时间对收敛的代价问题。
本文提出了稳健、自适应的朗之万蒙特卡洛方法（R-LMC、A-LMC、RA-LMC），能够处理广义光滑性和状态依赖的重尾噪声，在无需耗散性假设的情况下建立了费舍尔信息收敛保证，并展示了对大语言模型和视觉语言模型进行贝叶斯微调的有效性。
论文研究了在未知重尾噪声统计下在线凸优化的区间动态遗憾界，提出一个不依赖 G、σ、p、区间长度等参数的学习器，并证明了包含噪声幂指数的通用遗憾上界及匹配的下界。
本文分析了在广义平滑性和重尾噪声下，裁剪在AdaGrad中的关键作用，证明了它能防止各向异性失调，并提供了高概率收敛保证。
本文为普通向量形式的Adam优化器在重尾随机噪声下建立了首个收敛保证，表明其收敛到驻点，但迭代复杂度次优；当已知域半径时，可提升至最优速率。
本文首次对带动量的原始SGD在重尾噪声下（无需梯度裁剪或归一化）进行了全面的收敛性分析，揭示了其收敛速率劣于经过裁剪的变体，并在合成函数上进行了实验验证。