momentum

该论文提出了一种统一的 actor-critic 方法，将岭正则化的路径最小二乘 LSTD critic 与重要性校正动量 (ICM) actor 相结合，并首次给出了 ICM actor-critic 在单条 Markov 轨迹上归一化与非归一化步长下的有限时间收敛界，同时将结果特化到 Muon、带动量的 SGD 及 AdaNorm 等优化器进行比较。

本文分析了 Muon 优化器何时以及如何带来预条件收益，表明它在各向同性噪声下无法加速，但在具有结构的 mini-batch 梯度噪声下，可以将对任务频率的依赖从线性降至平方根，同时避免 SignSGD 因旋转而引发的负迁移。

本文探讨了第一性原理思维如何帮助高级工程师适应变化，特别是在AI的代理时代，通过关注动力并通过小学习循环来理解核心问题。

Velocity Radar 是一款测量真实 GitHub 动态的工具，覆盖公共和私有仓库，提供节奏、分析和持久性功能，专为开发者和 AI 代理指挥官设计。

这篇推文讨论了博士学位如何成为一个有价值的训练场所，用于建立动力、管理失败的实验以及促进研究实验室内的合作。

Sam Altman解释说，职业倦怠源于失败而非过度工作，并强调动量对创业者的激励作用。

本文介绍了一个受ADMM启发的动量框架（AIM）和一个新的优化器RADAR，从理论上将动量解释为残差驱动的乘子校正，实验表明在强自适应基线上取得了持续改进。

本文首次对带动量的原始SGD在重尾噪声下（无需梯度裁剪或归一化）进行了全面的收敛性分析，揭示了其收敛速率劣于经过裁剪的变体，并在合成函数上进行了实验验证。

论文提出了FedCGNM，一种客户端优化器，通过将类别分组并对每个组的动量进行归一化来处理联邦学习中的类别不平衡问题，同时引入FedHOO以实现高效的超参数探索。实证结果表明在基线方法上具有一致的改进。

约翰内斯堡大学的一份工作论文提出了一种卡尔曼滤波、动量扩展的Anticor算法（K-ACM），在1962年至1984年的回测中，产生了从1美元到360亿美元的极端回报，尽管由于不切实际的假设而被认为是回测假象。

提出了一种用于随机优化的动量-梯度对齐更新策略MGUP，可实现层内选择性参数更新。该策略能与AdamW、Lion和Muon等优化器无缝集成，在提供理论收敛保证的同时，在大型模型训练任务中展现出卓越性能。

DP-MacAdam 结合了自适应裁剪和自适应动量来改进差分隐私随机梯度下降，无需手动调整裁剪阈值即可获得更好的模型效用。