skeadam

SkewAdam是一种针对混合专家模型的新型优化器，它分层分配优化器状态至骨干网络、专家和路由器，将内存占用降至AdamW的2.6%，同时在受控对比中实现了更优的验证困惑度。