@cursor_ai：我们正在开源 Mixture-of-Kittens (MoK)，这是我们为 NVL72 打造的 MoE 训练巨型内核。它融合了所有 Mixture-of-Experts 的…

X AI KOLs Timeline 工具
open-source mixture-of-experts training-kernel nvl72 ai-infrastructure performance

摘要

Cursor 正在开源 Mixture-of-Kittens (MoK)，这是一个针对 NVIDIA NVL72 的融合式 MoE 训练巨型内核，其运行速度比最强的公开基线快达 2.37 倍。

我们正在开源 Mixture-of-Kittens (MoK)，这是我们为 NVL72 打造的 MoE 训练巨型内核。 它将所有 Mixture-of-Experts 的通信与计算融合到单个完全确定性的内核中，运行速度比最强的公开基线快达 2.37 倍。https://t.co/yHu5E6RXp9
查看原文
查看缓存全文

缓存时间: 2026/08/04 18:13

我们正在开源 Mixture-of-Kittens（MoK），这是我们为 NVL72s 打造的 MoE 训练巨型内核。

它将所有 Mixture-of-Experts 的通信和计算融合到一个完全确定性的内核中，运行速度比最强的公开基线快达 2.37 倍。https://t.co/yHu5E6RXp9

相似文章

Mixture-of-Translators: 跨异构大语言模型的KV缓存翻译

arXiv cs.CL

本文介绍了Mixture-of-Translators（MoT），一个跨异构大语言模型翻译KV缓存的框架，使得不同架构之间能够复用缓存。实验表明，在Qwen2.5、GPT-2和OPT模型上，问答性能和长上下文质量得以保持。