fractional-spectral-power

本文介绍了Muon^p，一种新颖的优化器，采用分数谱幂更新在Muon和梯度下降之间进行插值，提供了理论证明并在十亿参数规模的微调任务上取得了实证收益。