skewadam

SkewAdam是一种分层优化器，可将MoE状态内存使用量减少97%，从而使得6.7B MoE模型能够适配单个40GB GPU。