尝试预测下一个token会用到哪些MoE专家来加速CPU/GPU offload，得到了一些实际数据，这真的可实现吗还是我在浪费时间（30tg/s -> 150-200tg/s）
摘要
探索通过预测下一个token将使用的MoE专家来改进CPU/GPU offload，实现了30->150-200 tg/s的加速，并质疑实现可行性。
暂无内容
相似文章
在老款GTX 1080（8GB显存，128k上下文）上，约30B的MoE模型达到24+ tok/s的推理速度
一位开发者展示了如何使用llama.cpp，通过MoE卸载和TurboQuant KV缓存量化技术，在老款GTX 1080（8GB显存）上以128k上下文运行Qwen 3.6 35B-A3B和Gemma 4 26B-A4B等MoE模型，达到24+ tok/s的推理速度，并揭示了针对Gemma MTP投机解码的优化技巧。
多层级MoE缓存
讨论MoE模型的多层级缓存策略，通过将频繁激活的专家保留在GPU上来提升推理速度，参考了PowerInfer和llama.cpp分支等现有实现。
@techNmak: 运行大型MoE模型最聪明的方式并不是增加更多GPU，而是不再把每个专家都视为值得占用GPU资源……
KTransformers 是一个优化大型混合专家模型推理和微调的框架，它通过将活跃的专家动态放置在 GPU 上，其余专家保留在 CPU 内存中，使得像 DeepSeek-V3 这样的大型模型能够在有限的消费级 GPU 内存上运行。
DisagMoE：通过解耦 AF-Pipe 并行实现计算与通信重叠的 MoE 训练
本文介绍了 DisagMoE，一种 MoE 训练系统，通过将注意力层和前馈网络（FFN）层解耦到不同的 GPU 组来优化计算与通信的重叠。该系统基于 Megatron-LM 实现，通过解决节点间通信瓶颈，在 H800 集群上实现了高达 1.8 倍的加速。
@sudoingX: 我之前在 llama.cpp 上用 Q4 量化运行了 Ornith 新型 35B MoE 模型，4 bit，体积小，速度快，达到了约 78 tok/s。然后我更换了引擎……
一款名为 Ornith 的 35B MoE 智能编码模型，在单台 DGX Spark 上以 FP8 精度近乎无损运行，支持 300 万 token 上下文，速度约 36 tok/s，预计通过投机解码可进一步提升性能。