Tag
该研究系统考察了在预训练与后训练阶段切换 AdamW 和 Muon 优化器的代价，发现最终性能主要由两个优化器各自独立的效果解释，切换优化器几乎没有额外的性能惩罚，后训练优化器的选择可基本独立于预训练优化器。