momentum

本文首次对带动量的原始SGD在重尾噪声下（无需梯度裁剪或归一化）进行了全面的收敛性分析，揭示了其收敛速率劣于经过裁剪的变体，并在合成函数上进行了实验验证。

论文提出了FedCGNM，一种客户端优化器，通过将类别分组并对每个组的动量进行归一化来处理联邦学习中的类别不平衡问题，同时引入FedHOO以实现高效的超参数探索。实证结果表明在基线方法上具有一致的改进。

约翰内斯堡大学的一份工作论文提出了一种卡尔曼滤波、动量扩展的Anticor算法（K-ACM），在1962年至1984年的回测中，产生了从1美元到360亿美元的极端回报，尽管由于不切实际的假设而被认为是回测假象。

提出了一种用于随机优化的动量-梯度对齐更新策略MGUP，可实现层内选择性参数更新。该策略能与AdamW、Lion和Muon等优化器无缝集成，在提供理论收敛保证的同时，在大型模型训练任务中展现出卓越性能。

DP-MacAdam 结合了自适应裁剪和自适应动量来改进差分隐私随机梯度下降，无需手动调整裁剪阈值即可获得更好的模型效用。