convergence-rate

本文提出了一种正则感知的随机多梯度下降方法（MoRe），该方法在冲突避免更新与标量化更新之间自适应切换。在非凸场景下，该方法将收敛率从 O~T^{-1/4} 提升至 O~T^{-1/2}，同时保持每轮迭代的冲突避免特性。

本文提出了面向函数约束变分不等式问题的镜像下降类算法，证明了对于有界单调算子与Lipschitz凸约束问题的最优收敛速率。此外，引入了一种改进方法以提升多约束场景下的效率。