dynamic

本文介绍了DynMuon，一种动态频谱塑形优化器，它在训练过程中将更新参数p从正值调度为轻微负值，从而持续获得更低的验证损失，并且达到相同目标损失所需的步数比标准Muon优化器减少10.6%–26.5%。