标签
本文介绍了一个在随机优化中减少每样本损害的框架，其中来自批次平均和历史状态的参数更新会增加单个样本的损失。该方法采用降维技术，并专注于最后一层线性层以提高效率，在图像分类任务上展示了更好的泛化性能。
本文提出了一种正则感知的随机多梯度下降方法（MoRe），该方法在冲突避免更新与标量化更新之间自适应切换。在非凸场景下，该方法将收敛率从 O~T^{-1/4} 提升至 O~T^{-1/2}，同时保持每轮迭代的冲突避免特性。
提出了一种用于随机优化的动量-梯度对齐更新策略MGUP，可实现层内选择性参数更新。该策略能与AdamW、Lion和Muon等优化器无缝集成，在提供理论收敛保证的同时，在大型模型训练任务中展现出卓越性能。
本文通过为私有随机决策理论在线学习提供最优间隔依赖遗憾算法，解决了COLT开放问题，达到了阶 (log K)/Δ_min + (log K)/ε 的下界。
本文提出了随机方差缩减估计的统一理论框架，通过新的Freedman不等式推导出高概率界，并改进了约束优化的预言机复杂度。
本文研究了Blum-Gladyshev噪声下的非凸随机优化，其中梯度方差随与初始点的距离增长。证明了带有动量的归一化SGD和方差缩减STORM方法的收敛性保证，在某些条件下达到了极小极大最优速率。