@charles_irl: 许多人迟来地意识到智能必须开放。开放智能要成功，开发者必须携手合…

X AI KOLs Following 2026/06/15 16:38 工具

open-intelligence sglang inference-speed throughput collaboration speculative-decoding

摘要

Modal、SGLang 和 Z Lab 之间的合作将 DFlash 推测方案集成到 SGLang 中，为阿里巴巴的 Qwen 397B-A17B 模型实现了高达 4.3 倍的吞吐量提升，推动了开放智能的发展。

许多人迟来地意识到智能必须是开放的。开放智能要成功，开发者必须跨机构合作。这就是为什么我对这次跨 @modal、@sgl_project 和 Z Lab 的合作感到特别兴奋：

查看原文

查看缓存全文

缓存时间: 2026/06/16 11:40

很多人现在才意识到，智能必须是开放的。

开放智能要取得成功，开发者必须跨越机构界限共同合作。

这正是我对 @modal、@sgl_project 和 Z Lab 之间这项合作如此期待的原因：

Modal (@modal)： 我们与 @lmsysorg 及 https://t.co/Cg0JsVomui 合作，

将 DFlash 规范集成到 @sgl_project 中

通过重叠处理让它更快

为 @Alibaba_Qwen 397B-A17B 训练了一个 DFlash 草稿模型

结果：相比基线，吞吐量提升高达 4.3 倍，相比原生 MTP 提升 1.5 倍。