convergence-guarantees

OmniISR提出了一种统一框架，通过在隐藏层引入中间监督与正则化，将集中式学习和联邦学习相结合，提供了理论收敛保证，并将CL-FL差距缩小了22.60%。

本文研究了Blum-Gladyshev噪声下的非凸随机优化，其中梯度方差随与初始点的距离增长。证明了带有动量的归一化SGD和方差缩减STORM方法的收敛性保证，在某些条件下达到了极小极大最优速率。

SMCEvolve 提出了一种原则性框架，用于 LLM 驱动的程序演化，通过将其重新表述为使用序贯蒙特卡洛从奖励倾斜分布中采样。它提供了收敛保证，并在多个科学发现基准测试中优于现有方法。