标签
本文介绍了Director，一个分布式MoE服务系统，通过预测驱动的在线主动专家放置来最小化端到端延迟。它采用轻量级预测器和基于松弛法的优化器，对Mistral、DeepSeek和Qwen等模型可实现高达55%的延迟降低。
一位在 xAI 领导 SGLang 团队的前伯克利博士，解释了如何使用分离预填充/解码、专家分片以及通信/计算重叠，在 10 万块 GPU 上为 Grok 提供服务，以实现碾压 DeepSeek API 的价格。
MACS是一个无需训练的推理框架，通过引入熵加权负载和动态模态自适应容量机制，减轻多模态MoE MLLMs在专家并行中的落后效应。
专家联邦（FoE）将混合专家模块重组为独立处理KV头的集群，消除了节点间通信瓶颈，在保持生成质量的同时，将推理吞吐量和延迟提升高达5.2倍。