标签
本文证明了平滑非凸零阶优化问题的下界。研究结果表明，在低曲率迹条件下，确定性方法的查询复杂度相比随机化方法额外多出约 d 的因子，从而量化了在仅能获取函数值查询的任务（如大语言模型微调）中采用确定性方法所付出的代价。
高通人工智能研究院展示了一种方法，将组合多重网格图粗化用作热启动，并与粒子多项式松弛的非凸连续重构相结合，能够在计算资源受限的条件下更有效地跳出最大割问题的局部最优，在 Biq Mac 和 G-set 基准测试中取得接近最优的结果，并大幅降低内存占用。
本文提出PROBE，一种用于非凸下层双层优化的扰动梯度算法，通过二阶平稳性实现有限时间收敛，并在基于LLM的任务和元学习实验中超越现有最先进方法。
本文从确定性优化视角重新审视中位数平均估计，并开发了一系列块-Lp估计器，用于在重尾和对抗性破坏下的鲁棒学习，表明非凸方法在保持计算可行性的同时可以接近修剪预言的性能。
本文为普通向量形式的Adam优化器在重尾随机噪声下建立了首个收敛保证，表明其收敛到驻点，但迭代复杂度次优；当已知域半径时，可提升至最优速率。
本文提出了一种自适应梯度下降方法，利用单侧赫尔德正则性根据方向曲率而非全梯度变化来控制步长，为非凸目标函数提供了收敛保证，并展示了实证优势。
本文证明，在海森兼容性条件下，在线梯度下降方法能够针对隐凸损失实现最优的√T遗憾值，解决了对抗性在线学习中的开放问题。同时，还将结果扩展至单点赌博机反馈，给出了T^{3/4}的期望遗憾界。
本文提出了一种鲁棒的子空间约束二次模型，用于从高维数据中学习低维结构，能够适应重尾噪声。我们开发了一种带有回溯线搜索的梯度算法，实验表明该方法在鲁棒性和重建精度上均有所提升。
本文研究了Blum-Gladyshev噪声下的非凸随机优化，其中梯度方差随与初始点的距离增长。证明了带有动量的归一化SGD和方差缩减STORM方法的收敛性保证，在某些条件下达到了极小极大最优速率。
本文介绍了 SHAPE，这是一种针对固定预算非凸优化的结构化自适应端口哈密顿优化器，它利用事件触发机制来平衡下降、探索和预算分配。