adam

本文介绍了针对人工神经网络的改进优化器QHAdamW，并将其应用于菲律宾的空气质量预报，结果表明该优化器在预测PM2.5和PM10浓度时展现出更优的收敛性与性能。

本文介绍了一个用于理解自适应矩估计方法（如 Adam）的信任域框架，推导出一族基于 p 阶矩约束（2≤p≤4）的学习率机制，包括基于峰度的变体（Gmake）。在 GPT2-124M 上的实验表明，当信任域控制更强时，二阶矩版本变得更具竞争力。

本文研究了在因子化模型中，为什么 Adam 不表现出梯度下降所具有的隐式低秩偏差，并表明逐坐标预处理打破了相关对称性，而共享标量方法（如 Muon 和 Shampoo）则保持了这种对称性。

本文为普通向量形式的Adam优化器在重尾随机噪声下建立了首个收敛保证，表明其收敛到驻点，但迭代复杂度次优；当已知域半径时，可提升至最优速率。

介绍了PsiLogic，一种基于梯度不稳定性动态阻尼项增强Adam的混沌感知优化器，并提出了FairBench以实现可复现评估。在NLP、ViT和ResNet任务上展示了具有竞争力或更优的结果，并对局限性保持完全透明。

本文通过实验证明，在GaLore等低秩训练方法中，梯度的前r维子空间除了一个小的可复现核心外是不可辨识的，估计器噪声主导了表观旋转。文章分析了这对优化器状态传输的影响，并引入了LDAdam，它在困惑度上优于GaLore。

本文建立了针对时变和非平稳随机系统的Adam优化器的通用理论，在允许非平稳和依赖数据的随机激励条件下，提供了参数跟踪和输出预测误差界。

本文探究了Muon优化器在大型语言模型训练中为何优于Adam，从曲率视角表明Muon因更低的归一化方向锐度而承受更小的曲率惩罚，且其优势因数据不平衡而放大。

本文将非均匀光滑性假设推广到曲率与目标值呈仿射关系的目标函数，证明了最速下降法以及RMSProp和Adam的对角变体的收敛速率，并应用于逻辑回归和神经网络。

本文提出了一种适用于 Adam 及其他自适应优化器的“杆流”模型，以更好地分析其在边缘稳定性（Edge of Stability）下的行为。该研究将连续时间建模扩展至动量方法，结果表明，与稳定的流模型相比，该模型在追踪离散迭代点方面具有更高的准确性。

本文重新审视了 Adam 优化器在流式强化学习中的应用，证明经过适当调优后，DQN 和 C51 等成熟方法表现良好。作者提出了自适应 Q(lambda) 算法，该算法将资格迹与 Adam 的方差自适应特性相结合，在 55 款 Atari 游戏中超越了现有的流式强化学习方法。

研究论文探究了在微调预训练模型时用 Muon 优化器替代 Adam 所导致的性能下降，证明像 LoRA 这样的参数高效方法能有效缓解语言和视觉任务中的这种优化器不匹配问题。