尝试预测下一个token会用到哪些MoE专家来加速CPU/GPU offload，得到了一些实际数据，这真的可实现吗还是我在浪费时间（30tg/s -> 150-200tg/s）
摘要
探索通过预测下一个token将使用的MoE专家来改进CPU/GPU offload，实现了30->150-200 tg/s的加速，并质疑实现可行性。
相似文章
Auto-fit vs tuned MoE offload: 564 → 1330 pp tok/s, unchanged decode (Qwen3.6-35B-A3B Q6 / RTX 3090)
A developer benchmarks Qwen3.6-35B-A3B Q6 on an RTX 3090, showing that offloading eight MoE expert layers to CPU and increasing batch sizes improves prompt processing by 2.36× (564→1330 tok/s) with no decode speed regression, using evolutionary search to find the tuning config.
为什么我们不能让MoE路由器预测接下来5-10个token所需的专家？
用户质疑是否可以设计混合专家（MoE）路由器来预测token序列的未来专家需求，以实现RAM和VRAM之间的更快缓存，或者是否可以为此训练一个单独的神经网络。
在老款GTX 1080（8GB显存，128k上下文）上，约30B的MoE模型达到24+ tok/s的推理速度
一位开发者展示了如何使用llama.cpp，通过MoE卸载和TurboQuant KV缓存量化技术，在老款GTX 1080（8GB显存）上以128k上下文运行Qwen 3.6 35B-A3B和Gemma 4 26B-A4B等MoE模型，达到24+ tok/s的推理速度，并揭示了针对Gemma MTP投机解码的优化技巧。
多层级MoE缓存
讨论MoE模型的多层级缓存策略，通过将频繁激活的专家保留在GPU上来提升推理速度，参考了PowerInfer和llama.cpp分支等现有实现。
@techNmak: 运行大型MoE模型最聪明的方式并不是增加更多GPU，而是不再把每个专家都视为值得占用GPU资源……
KTransformers 是一个优化大型混合专家模型推理和微调的框架，它通过将活跃的专家动态放置在 GPU 上，其余专家保留在 CPU 内存中，使得像 DeepSeek-V3 这样的大型模型能够在有限的消费级 GPU 内存上运行。