incoai/Qwen3.8-27B-DFlash2 · Hugging Face

来源: https://huggingface.co/incoai/Qwen3.8-27B-DFlash2 博客 (https://inco.ai/blog/dflash2/) | GitHub (https://github.com/z-lab/dflash)

此仓库包含 Qwen/Qwen3.8-27B (https://huggingface.co/Qwen/Qwen3.8-27B) 的 DFlash 2 草稿模型。它不是一个独立的语言模型：它运行在推测解码服务器内部，为目标模型草拟 token 供其验证。该检查点也镜像在 z-lab/Qwen3.8-27B-DFlash2 (https://huggingface.co/z-lab/Qwen3.8-27B-DFlash2)。

DFlash 2 是一种用于推测解码的块扩散草拟器。它单次预测一整个 token 块，并在每个位置保留最高候选项。然后一个轻量级选择器从中追溯一条连贯路径。骨干网络中的双路动态卷积可以防止草拟在块末尾时质量衰减。解码是无损的：贪心输出与目标模型完全一致，而采样保留了其分布。

DFlash 2：并行块草拟与候选路径选择器

快速开始

使用 SGLang (https://github.com/sgl-project/sglang) 部署：

pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git#subdirectory=python"

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.8-27B \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path incoai/Qwen3.8-27B-DFlash2 \
  --speculative-num-draft-tokens 8

或使用 vLLM (https://github.com/vllm-project/vllm)：

pip install -U "vllm @ git+https://github.com/vllm-project/vllm.git@refs/pull/52816/head"

vllm serve Qwen/Qwen3.8-27B \
  --speculative-config '{
    "method": "dflash",
    "model": "incoai/Qwen3.8-27B-DFlash2",
    "num_speculative_tokens": 7
  }'

详情及其他引擎支持，请参阅博客文章。

评估

• 运行环境：SGLang，单张 NVIDIA H200 GPU，目标和草拟注意力均使用 FlashAttention 3
• 推测块大小：8（每个验证步骤 7 个草拟 token）
• 采样参数：Qwen3.8 官方推荐参数（温度 1.0，top-p 0.95，top-k 20），使用 xhigh 推理强度
• 最大新 token 数：4096
• 提示：采用 z-lab/dflash (https://github.com/z-lab/dflash) 的基准测试格式

我们将自回归解码、Qwen3.8 内置的七 token MTP、社区 DSpark 草拟器 (RadixArk/Qwen3.8-27B-DSpark (https://huggingface.co/RadixArk/Qwen3.8-27B-DSpark)) 和 DFlash 2 进行了比较。所有推测方法在每个验证步骤均提议 7 个草拟 token。

接受长度

接受长度是每个请求的完成 token 数除以验证步骤数的平均值。数值越高越好。

吞吐量

吞吐量是总输出 token 数除以端到端壁钟时间。每个单元格显示为 输出 tok/s（相比自回归的加速比）。

并发数 1

并发数 8

并发数 32

引用

如果您觉得 DFlash 2 有用，请引用：

@misc{inco2026dflash2,
  title  = {{DFlash 2: Keep Drafting Parallel}},
  author = {{Inco AI}},
  year   = {2026},
  month  = {August},
  url    = {https://inco.ai/blog/dflash2/}
}

同时，请引用原始的 DFlash 论文：

@inproceedings{chen2026dflash,
  title     = {{DFlash: Block Diffusion for Flash Speculative Decoding}},
  author    = {Chen, Jian and Liang, Yesheng and Liu, Zhijian},
  booktitle = {International Conference on Machine Learning (ICML)},
  year      = {2026}
}