@charles_irl: 推测就是一切
摘要
Yong Quan 强调，更好的推测解码器可以在 LLM 推理中实现近乎线性的吞吐量提升，该观点由 Charles 在 Modal 研讨会上提出。
查看缓存全文
缓存时间: 2026/06/29 20:44
spec 足矣
Yong Quan 在 sf (@yongquanYQ): 大量 LLM 基础设施的性能提升都是增量式的
但今天 @charles_irl 在 @modal 研讨会上展示的一个亮点/提醒：
更好的推测解码器可以解锁接近线性的吞吐量提升，这与许多仅能带来个位数改进的优化不同！值得尝试
相似文章
@charles_irl：推测就是一切。在这篇博客中，我们宣布与Z Lab共同发布六款最新的DFla…
Modal和Z Lab发布了六款新的DFlash推测解码草稿模型，用于Qwen 3.x，在B200上实现了每秒超过1000个token，并认为推测解码是最有影响力的推理优化。
@charles_irl: 如果你对投机解码感兴趣，花点时间钻研这张图表！并阅读 @haoailab.ht 的文章…
来自 LLM工程师年鉴 的屋顶线模型估计了在不同模型和硬件上，不同草稿长度下投机解码的加速效果，并附注指出，当开销显著时，该模型可能低估收益。
@lmsysorg: 新博客: 推测解码的下一代: DFlash 和 Spec V2。DFlash + Spec V2 实现 >4.3倍基准吞吐量…
关于 DFlash 和 Spec V2 推测解码方法的新研究实现了 LLM 推理的 >4.3倍基准吞吐量，现已成为 SGLang 的默认推测解码引擎。
什么是推测性解码？（在paperswithco.de上热门）[R]
推测性解码是一种推理优化技术，它使用快速草稿模型提出未来 token，并由较大模型并行验证，从而提高 LLM 的生成速度。文章强调了它在 Papers with Code 上的热门状态，以及最近的 SGLang 博客文章，该文章介绍了使用 DFlash 模型实现的最先进延迟。
@akshay_pachaar：投机解码详解（用得好，LLM 推理速度可提升 4 倍）本地 LLM 通常每次……
这篇帖子通俗解释了投机解码（Speculative Decoding）的工作原理——草稿模型预测、目标模型并行验证并以概率方式接受或纠正——并介绍了开源引擎 Uzu，它在 Apple Silicon 上结合并行起草、连贯草稿路径与免回滚验证，使 4-bit Qwen3.5 9B 的推理速度从 llama.cpp 的 22 tokens/s 提升到 92–117 tokens/s。