MoE训练提速40%：更快的megakernel，居然来自Cursor（针对B200）
摘要
Cursor开源了Mixture-of-Kittens (MoK)，这是一个面向NVIDIA Blackwell GPU的确定性MoE训练megakernel，它融合了计算与通信，相比基线实现最高可提供2.37倍加速。
查看缓存全文
缓存时间: 2026/08/05 20:27
cursor/mixture-of-kittens
Source: https://github.com/cursor/mixture-of-kittens
Mixture-of-Kittens (MoK)
Mixture-of-Kittens (MoK)
相似文章
@cursor_ai：我们正在开源 Mixture-of-Kittens (MoK)，这是我们为 NVL72 打造的 MoE 训练巨型内核。它融合了所有 Mixture-of-Experts 的…
Cursor 正在开源 Mixture-of-Kittens (MoK)，这是一个针对 NVIDIA NVL72 的融合式 MoE 训练巨型内核，其运行速度比最强的公开基线快达 2.37 倍。
Mixture-of-Kittens：我们为NVL72s提供的开源MoE巨型内核（25分钟阅读）
Cursor正在开源Mixture-of-Kittens（MoK），这是一个用于NVL72s的生产级MoE训练巨型内核，它融合了通信与计算，为其Composer模型带来了1.41倍的端到端训练吞吐量提升。
Auto-fit vs tuned MoE offload: 564 → 1330 pp tok/s, unchanged decode (Qwen3.6-35B-A3B Q6 / RTX 3090)
A developer benchmarks Qwen3.6-35B-A3B Q6 on an RTX 3090, showing that offloading eight MoE expert layers to CPU and increasing batch sizes improves prompt processing by 2.36× (564→1330 tok/s) with no decode speed regression, using evolutionary search to find the tuning config.
在老款GTX 1080（8GB显存，128k上下文）上，约30B的MoE模型达到24+ tok/s的推理速度
一位开发者展示了如何使用llama.cpp，通过MoE卸载和TurboQuant KV缓存量化技术，在老款GTX 1080（8GB显存）上以128k上下文运行Qwen 3.6 35B-A3B和Gemma 4 26B-A4B等MoE模型，达到24+ tok/s的推理速度，并揭示了针对Gemma MTP投机解码的优化技巧。
DisagMoE：通过解耦 AF-Pipe 并行实现计算与通信重叠的 MoE 训练
本文介绍了 DisagMoE，一种 MoE 训练系统，通过将注意力层和前馈网络（FFN）层解耦到不同的 GPU 组来优化计算与通信的重叠。该系统基于 Megatron-LM 实现，通过解决节点间通信瓶颈，在 H800 集群上实现了高达 1.8 倍的加速。