标签
本文解释了 LLM 预训练中增大批量大小为何有帮助：提出了一个带可调方差增长指数的广义 Blum–Gladyshev 噪声模型，推导了相匹配的信息论 oracle 复杂度界，并引入了一种自适应批处理调度器，该调度器在 OLMo2 系列（最大 1B 参数）模型上以不到小批量迭代量 10% 的训练量取得了更低的验证损失。
论文研究了在未知重尾噪声统计下在线凸优化的区间动态遗憾界，提出一个不依赖 G、σ、p、区间长度等参数的学习器，并证明了包含噪声幂指数的通用遗憾上界及匹配的下界。
该论文提出了一种联邦随机双层优化算法，仅使用一阶梯度以避免二阶矩阵计算，从而减少运行时间，并引入了一种新颖的学习率机制，通过实验进行了验证。
本文通过将AdamW建模为有限时域输入-状态-输出系统，分析了批次扰动的延迟效应，揭示了优化器状态如何影响训练动力学。
本文为普通向量形式的Adam优化器在重尾随机噪声下建立了首个收敛保证，表明其收敛到驻点，但迭代复杂度次优；当已知域半径时，可提升至最优速率。
本文介绍了一个在随机优化中减少每样本损害的框架，其中来自批次平均和历史状态的参数更新会增加单个样本的损失。该方法采用降维技术，并专注于最后一层线性层以提高效率，在图像分类任务上展示了更好的泛化性能。
本文提出了一种正则感知的随机多梯度下降方法（MoRe），该方法在冲突避免更新与标量化更新之间自适应切换。在非凸场景下，该方法将收敛率从 O~T^{-1/4} 提升至 O~T^{-1/2}，同时保持每轮迭代的冲突避免特性。
提出了一种用于随机优化的动量-梯度对齐更新策略MGUP，可实现层内选择性参数更新。该策略能与AdamW、Lion和Muon等优化器无缝集成，在提供理论收敛保证的同时，在大型模型训练任务中展现出卓越性能。
本文通过为私有随机决策理论在线学习提供最优间隔依赖遗憾算法，解决了COLT开放问题，达到了阶 (log K)/Δ_min + (log K)/ε 的下界。
本文提出了随机方差缩减估计的统一理论框架，通过新的Freedman不等式推导出高概率界，并改进了约束优化的预言机复杂度。
本文研究了Blum-Gladyshev噪声下的非凸随机优化，其中梯度方差随与初始点的距离增长。证明了带有动量的归一化SGD和方差缩减STORM方法的收敛性保证，在某些条件下达到了极小极大最优速率。