MoE训练提速40%：更快的megakernel，居然来自Cursor（针对B200）
摘要
Cursor开源了Mixture-of-Kittens (MoK)，这是一个面向NVIDIA Blackwell GPU的确定性MoE训练megakernel，它融合了计算与通信，相比基线实现最高可提供2.37倍加速。
查看缓存全文
缓存时间: 2026/08/05 20:27
cursor/mixture-of-kittens
Source: https://github.com/cursor/mixture-of-kittens
Mixture-of-Kittens (MoK)
Mixture-of-Kittens (MoK)
相似文章
@cursor_ai：我们正在开源 Mixture-of-Kittens (MoK)，这是我们为 NVL72 打造的 MoE 训练巨型内核。它融合了所有 Mixture-of-Experts 的…
Cursor 正在开源 Mixture-of-Kittens (MoK)，这是一个针对 NVIDIA NVL72 的融合式 MoE 训练巨型内核，其运行速度比最强的公开基线快达 2.37 倍。
Mixture-of-Kittens：我们为NVL72s提供的开源MoE巨型内核（25分钟阅读）
Cursor正在开源Mixture-of-Kittens（MoK），这是一个用于NVL72s的生产级MoE训练巨型内核，它融合了通信与计算，为其Composer模型带来了1.41倍的端到端训练吞吐量提升。
@samsja19：通过在MoE层融合计算与通信，我们显著加速了训练栈，并添加了反向…
Prime Intellect 让 DeepSeek 的 MegaMoE 内核变得可训练，通过在 MoE 层融合计算与通信，在 Blackwell 和 Hopper GPU 上实现了比 TorchTitan 最高快 55% 的 MoE 训练性能，并支持 BF16、MXFP8 和 FP8 精度。
Auto-fit vs tuned MoE offload: 564 → 1330 pp tok/s, unchanged decode (Qwen3.6-35B-A3B Q6 / RTX 3090)
A developer benchmarks Qwen3.6-35B-A3B Q6 on an RTX 3090, showing that offloading eight MoE expert layers to CPU and increasing batch sizes improves prompt processing by 2.36× (564→1330 tok/s) with no decode speed regression, using evolutionary search to find the tuning config.
在老款GTX 1080（8GB显存，128k上下文）上，约30B的MoE模型达到24+ tok/s的推理速度
一位开发者展示了如何使用llama.cpp，通过MoE卸载和TurboQuant KV缓存量化技术，在老款GTX 1080（8GB显存）上以128k上下文运行Qwen 3.6 35B-A3B和Gemma 4 26B-A4B等MoE模型，达到24+ tok/s的推理速度，并揭示了针对Gemma MTP投机解码的优化技巧。