@h100envy: 前伯克利博士，在 xAI 领导 SGLang 团队，解释了如何在 23 分钟内用 10 万块 GPU 为 Grok 提供服务——比价值 2000 美元的……更好

X AI KOLs Timeline 工具
sglang xai grok inference serving expert-parallelism large-scale

摘要

一位在 xAI 领导 SGLang 团队的前伯克利博士，解释了如何使用分离预填充/解码、专家分片以及通信/计算重叠，在 10 万块 GPU 上为 Grok 提供服务，以实现碾压 DeepSeek API 的价格。

前伯克利博士，在 xAI 领导 SGLang 团队，解释了如何在 23 分钟内用 10 万块 GPU 为 Grok 提供服务——比价值 2000 美元的规模推理课程还要好。 分离预填充和解码 -> 在 GPU 间分片专家 -> 按专家路由令牌 -> 重叠通信和计算 -> 以碾压 DeepSeek API 的价格提供服务。 正是这个循环让 xAI 在 SGLang 上运行 Grok，并使第三方在成本上以 5 倍的优势击败 DeepSeek 自家的 API。 SGLang + 预填充-解码分离 + 专家并行 + AMD MI300——这就是技术栈。 观看并保存它，然后阅读下面的文章。
查看原文
查看缓存全文

缓存时间: 2026/07/06 20:20

原伯克利博士、现xAI负责SGLang的负责人，用23分钟在10万张GPU上解释了如何为Grok提供服务——比价值2000美元的规模化推理课程还要好。

分离预填充和解码 -> 将专家分片到各GPU -> 按专家路由token -> 重叠通信与计算 -> 以击穿DeepSeek API的价格提供服务。

正是这一套逻辑，让xAI用SGLang运行Grok，也让第三方服务在成本上比DeepSeek自有API低5倍。

SGLang + 预填充-解耦分离 + 专家并行 + AMD MI300 —— 这就是整个技术栈。

观看并收藏，然后阅读下面的文章。

相似文章