标签
本文提出了有限库输入扭曲贝叶斯优化（FLIWBO），它从有限库中选择输入扭曲以适应输入几何形状，从而提高优化效率，同时保持高概率收敛保证，在多个基准测试中优于标准GP-UCB。
本文针对任意宽度或深度的通用前馈神经网络，建立了梯度下降的收敛保证。文中使用了一种新颖的广义Lipschitz光滑性条件，该条件适用于常见激活函数和均方误差，且不需要特殊的初始化或数据集要求。
本文为普通向量形式的Adam优化器在重尾随机噪声下建立了首个收敛保证，表明其收敛到驻点，但迭代复杂度次优；当已知域半径时，可提升至最优速率。
OmniISR提出了一种统一框架，通过在隐藏层引入中间监督与正则化，将集中式学习和联邦学习相结合，提供了理论收敛保证，并将CL-FL差距缩小了22.60%。
本文研究了Blum-Gladyshev噪声下的非凸随机优化，其中梯度方差随与初始点的距离增长。证明了带有动量的归一化SGD和方差缩减STORM方法的收敛性保证，在某些条件下达到了极小极大最优速率。
SMCEvolve 提出了一种原则性框架，用于 LLM 驱动的程序演化，通过将其重新表述为使用序贯蒙特卡洛从奖励倾斜分布中采样。它提供了收敛保证，并在多个科学发现基准测试中优于现有方法。