z-lab/Qwen3.8-27B-DFlash2 · Hugging Face

来源：https://huggingface.co/z-lab/Qwen3.8-27B-DFlash2 博客 (https://inco.ai/blog/dflash2/) | GitHub (https://github.com/z-lab/dflash)

本仓库包含用于 Qwen/Qwen3.8-27B (https://huggingface.co/Qwen/Qwen3.8-27B) 的 DFlash 2 草稿模型。它不是一个独立的语言模型：它运行于推测性解码服务器内部，为目标模型生成待验证的词元草稿。本仓库是 incoai/Qwen3.8-27B-DFlash2 (https://huggingface.co/incoai/Qwen3.8-27B-DFlash2) 的镜像。

DFlash 2 是一种用于推测性解码的块扩散草稿模型。它在单次前向传播中预测整个词元块，并在每个位置保留最佳候选。一个轻量级选择器随后从中追踪出一条连贯的路径。骨干网络中的双抽头动态卷积可防止草稿在块末尾质量下降。解码是无损的：贪心输出与目标模型完全一致，采样则保留其分布。

DFlash 2：采用候选路径选择器的并行块草稿模型

快速开始

使用 SGLang (https://github.com/sgl-project/sglang) 部署：

pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git#subdirectory=python"

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.8-27B \
  --speculative-algorithm DFLASH \
  --speculative-draft-model-path incoai/Qwen3.8-27B-DFlash2 \
  --speculative-num-draft-tokens 8

或使用 vLLM (https://github.com/vllm-project/vllm)：

pip install -U "vllm @ git+https://github.com/vllm-project/vllm.git@refs/pull/52816/head"

vllm serve Qwen/Qwen3.8-27B \
  --speculative-config '{
    "method": "dflash",
    "model": "incoai/Qwen3.8-27B-DFlash2",
    "num_speculative_tokens": 7
  }'

更多引擎及详情请参阅博客文章 (https://inco.ai/blog/dflash2/)。

评估

• 运行时：单卡 NVIDIA H200 上的 SGLang，目标和草稿注意力均使用 FlashAttention 3
• 推测块大小：8（每个验证步骤生成 7 个草稿词元）
• 采样参数：Qwen3.8 官方推荐参数（temperature 1.0，top-p 0.95，top-k 20），推理强度设为 xhigh
• 最大新词元数：4096
• 提示词：采用 z-lab/dflash (https://github.com/z-lab/dflash) 的基准测试格式

我们对比了自回归解码、Qwen3.8 内置的七词元 MTP、社区 DSpark 草稿模型 (RadixArk/Qwen3.8-27B-DSpark (https://huggingface.co/RadixArk/Qwen3.8-27B-DSpark)) 以及 DFlash 2。所有推测方法每个验证步骤均提出 7 个草稿词元。

接受长度

接受长度是指每个请求的平均完成词元数除以验证步数。数值越高越好。

吞吐量

吞吐量是总输出词元数除以端到端挂钟时间。每个单元格显示 输出词元/秒（相对于自回归解码的加速比）。

并发数 1

并发数 8

并发数 32

引用

如果您觉得 DFlash 2 有用，请引用：

@misc{inco2026dflash2,
  title  = {{DFlash 2: Keep Drafting Parallel}},
  author = {{Inco AI}},
  year   = {2026},
  month  = {August},
  url    = {https://inco.ai/blog/dflash2/}
}

也请引用原始 DFlash 论文：

@inproceedings{chen2026dflash,
  title     = {{DFlash: Block Diffusion for Flash Speculative Decoding}},
  author    = {Chen, Jian and Liang, Yesheng and Liu, Zhijian},
  booktitle = {International Conference on Machine Learning (ICML)},
  year      = {2026}
}