@samsja19：通过在MoE层融合计算与通信，我们显著加速了训练栈，并添加了反向…

X AI KOLs Timeline 2026/10/29 17:49 工具

moe training-optimization gpu-kernels deepseek blackwell-hopper open-source

摘要

Prime Intellect 让 DeepSeek 的 MegaMoE 内核变得可训练，通过在 MoE 层融合计算与通信，在 Blackwell 和 Hopper GPU 上实现了比 TorchTitan 最高快 55% 的 MoE 训练性能，并支持 BF16、MXFP8 和 FP8 精度。

我们通过在 MoE 层融合计算与通信，显著加速了训练栈，并为 DeepSeek MegaMoE 添加了反向传播内核支持 Blackwell 和 Hopper GPU 上的 BF16、MXFP8 和 FP8

查看原文

查看缓存全文

缓存时间: 2026/10/29 18:03

通过在 MoE 层中融合计算与通信，并为 deepseek MegaMoE 添加反向传播 kernel，我们显著提升了训练栈的速度

支持 Blackwell 和 Hopper GPU 上的 BF16、MXFP8 和 FP8 格式

Prime Intellect (@PrimeIntellect): 介绍 Prime Mega MoE。

我们让 DeepSeek 的 Mega MoE kernel 变得可训练了。在两个 Qwen3 模型上的结果：

• MoE 训练速度比 TorchTitan 快最多 55% • 使用 prime-rl 进行托管训练快最多 34%

相似文章

MoE训练提速40%：更快的megakernel，居然来自Cursor（针对B200）

Reddit r/LocalLLaMA

Cursor开源了Mixture-of-Kittens (MoK)，这是一个面向NVIDIA Blackwell GPU的确定性MoE训练megakernel，它融合了计算与通信，相比基线实现最高可提供2.37倍加速。

DisagMoE：通过解耦 AF-Pipe 并行实现计算与通信重叠的 MoE 训练

arXiv cs.LG

本文介绍了 DisagMoE，一种 MoE 训练系统，通过将注意力层和前馈网络（FFN）层解耦到不同的 GPU 组来优化计算与通信的重叠。该系统基于 Megatron-LM 实现，通过解决节点间通信瓶颈，在 H800 集群上实现了高达 1.8 倍的加速。

@techNmak: 运行大型MoE模型最聪明的方式并不是增加更多GPU，而是不再把每个专家都视为值得占用GPU资源……

X AI KOLs Timeline

KTransformers 是一个优化大型混合专家模型推理和微调的框架，它通过将活跃的专家动态放置在 GPU 上，其余专家保留在 CPU 内存中，使得像 DeepSeek-V3 这样的大型模型能够在有限的消费级 GPU 内存上运行。

@samsja19: prime-rl 现在可以极快地训练1T参数的MoE模型，每步不到5分钟，约3天完成1000步。为实现这一...

X AI KOLs Following

Prime Intellect 发布了 prime-rl v0.6.0，实现了万亿参数MoE规模的强化学习，每步时间低于5分钟，并优化了推理、训练和推出流程。

深入微软前沿预训练技术栈（18 分钟阅读）

TLDR AI

微软公布了其最新的 MoE 基础模型 MAI-Base-2（80B 激活参数 / 2.8T 总参数），在自研评测中超越所有开源权重模型，预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4-12 倍，使用 16k 张 GB200 GPU 在 38 天内完成训练。

提交意见反馈