尝试预测下一个token会用到哪些MoE专家来加速CPU/GPU offload，得到了一些实际数据，这真的可实现吗还是我在浪费时间（30tg/s -> 150-200tg/s）
摘要
探索通过预测下一个token将使用的MoE专家来改进CPU/GPU offload，实现了30->150-200 tg/s的加速，并质疑实现可行性。
暂无内容
相似文章
Auto-fit vs tuned MoE offload: 564 → 1330 pp tok/s, unchanged decode (Qwen3.6-35B-A3B Q6 / RTX 3090)
A developer benchmarks Qwen3.6-35B-A3B Q6 on an RTX 3090, showing that offloading eight MoE expert layers to CPU and increasing batch sizes improves prompt processing by 2.36× (564→1330 tok/s) with no decode speed regression, using evolutionary search to find the tuning config.
通过自适应专家分配实现高效的CPU-GPU协同MoE推理
本文提出了Apex，一个CPU-GPU协同的MoE推理系统，该系统根据token负载自适应地将GPU未命中的专家分配到CPU或GPU上，相比最强基线，预填充速度提升最高达51.9%，解码吞吐量提升最高达39.5%。
Specter：通过量化实现多步推测性专家卸载的快速 MoE 推理
Specter 提出了一种通过量化实现的多步推测性专家卸载方法，在单 GPU 上加速 MoE 推理，相比最先进系统平均获得 1.50 倍（最高 1.88 倍）的 TPOT 加速。
为什么我们不能让MoE路由器预测接下来5-10个token所需的专家？
用户质疑是否可以设计混合专家（MoE）路由器来预测token序列的未来专家需求，以实现RAM和VRAM之间的更快缓存，或者是否可以为此训练一个单独的神经网络。
@NVIDIARTXSpark：想要在你的 NVIDIA DGX Spark 上获得更高的每秒 token 数？探索三种加速 MoE 推理的技术，从优化内核…
@NVIDIARTXSpark 分享了三种加速 NVIDIA DGX Spark 上混合专家模型（MoE）推理的技术，涵盖优化内核、FP8 量化和多 token 预测，以提升每秒 token 吞吐量。