标签
该论文提出关联专家放置（correlated expert placement）与令牌重排（token shuffling）方法，利用路由器学习到的专家间相关性，在不改变路由决策和模型参数的前提下，将 all-to-all 通信时间缩短 1.16–2.63 倍，在 Megatron-LM 中端到端 MoE 预训练每步耗时最高降低至原来的 1/1.41。
SCAPE是一种通信高效的分布式优化器，利用一阶矩统计量实现LLM训练的极端稀疏化，在保持准确性的同时将实际训练时间减少高达43.3%。
GLM 5.2 后训练代码已开源，使用 Megatron-LM 进行训练，SGLang 生成 rollout，形成一个持续强化学习循环，权重同步。
本文介绍了 DisagMoE，一种 MoE 训练系统，通过将注意力层和前馈网络（FFN）层解耦到不同的 GPU 组来优化计算与通信的重叠。该系统基于 Megatron-LM 实现，通过解决节点间通信瓶颈，在 H800 集群上实现了高达 1.8 倍的加速。