@charles_irl: 推测就是一切

X AI KOLs Following 2026/06/29 20:36 新闻

speculative-decoding llm-inference performance modal workshop

摘要

Yong Quan 强调，更好的推测解码器可以在 LLM 推理中实现近乎线性的吞吐量提升，该观点由 Charles 在 Modal 研讨会上提出。

推测就是一切

查看原文

查看缓存全文

缓存时间: 2026/06/29 20:44

spec 足矣

Yong Quan 在 sf (@yongquanYQ): 大量 LLM 基础设施的性能提升都是增量式的

但今天 @charles_irl 在 @modal 研讨会上展示的一个亮点/提醒：

更好的推测解码器可以解锁接近线性的吞吐量提升，这与许多仅能带来个位数改进的优化不同！值得尝试

相似文章

X AI KOLs Following

Modal和Z Lab发布了六款新的DFlash推测解码草稿模型，用于Qwen 3.x，在B200上实现了每秒超过1000个token，并认为推测解码是最有影响力的推理优化。

X AI KOLs Timeline

来自 LLM工程师年鉴的屋顶线模型估计了在不同模型和硬件上，不同草稿长度下投机解码的加速效果，并附注指出，当开销显著时，该模型可能低估收益。

X AI KOLs Following

关于 DFlash 和 Spec V2 推测解码方法的新研究实现了 LLM 推理的 >4.3倍基准吞吐量，现已成为 SGLang 的默认推测解码引擎。

Reddit r/MachineLearning

推测性解码是一种推理优化技术，它使用快速草稿模型提出未来 token，并由较大模型并行验证，从而提高 LLM 的生成速度。文章强调了它在 Papers with Code 上的热门状态，以及最近的 SGLang 博客文章，该文章介绍了使用 DFlash 模型实现的最先进延迟。

X AI KOLs Timeline

研究人员提出了 DFlash 技术，这是一种利用块扩散模型（block diffusion models）进行投机解码的方法，可在不损失准确度的情况下，将大语言模型推理速度提升高达 8.5 倍。该技术已集成到 vLLM 和 SGLang 等主要框架中。