SkewAdam：一种分层优化器，将MoE状态内存减少97%（可在40GB GPU上容纳6.7B MoE模型）[R]
摘要
SkewAdam是一种分层优化器，可将MoE状态内存使用量减少97%，从而使得6.7B MoE模型能够适配单个40GB GPU。
暂无内容
相似文章
优化器状态应驻留在何处？面向内存高效的混合专家训练的分层状态分配
SkewAdam是一种针对混合专家模型的新型优化器，它分层分配优化器状态至骨干网络、专家和路由器，将内存占用降至AdamW的2.6%，同时在受控对比中实现了更优的验证困惑度。
Auto-fit vs tuned MoE offload: 564 → 1330 pp tok/s, unchanged decode (Qwen3.6-35B-A3B Q6 / RTX 3090)
A developer benchmarks Qwen3.6-35B-A3B Q6 on an RTX 3090, showing that offloading eight MoE expert layers to CPU and increasing batch sizes improves prompt processing by 2.36× (564→1330 tok/s) with no decode speed regression, using evolutionary search to find the tuning config.
Gefen：优化的随机优化器
Gefen是一种内存高效的优化器，通过自动共享二阶矩估计并使用学习到的码本量化一阶矩，将AdamW的内存占用减少约8倍，同时保持与AdamW相当的性能。
在老款GTX 1080（8GB显存，128k上下文）上，约30B的MoE模型达到24+ tok/s的推理速度
一位开发者展示了如何使用llama.cpp，通过MoE卸载和TurboQuant KV缓存量化技术，在老款GTX 1080（8GB显存）上以128k上下文运行Qwen 3.6 35B-A3B和Gemma 4 26B-A4B等MoE模型，达到24+ tok/s的推理速度，并揭示了针对Gemma MTP投机解码的优化技巧。
多层级MoE缓存
讨论MoE模型的多层级缓存策略，通过将频繁激活的专家保留在GPU上来提升推理速度，参考了PowerInfer和llama.cpp分支等现有实现。