提醒：如果你还没升级，赶快将 Flash Next 升级到 DFlash2！平均提升 17%

Reddit r/LocalLLaMA 模型
speculative-decoding gguf llama.cpp quantization qwen local-inference inference-speedup

摘要

一则公告建议用户在 llama.cpp 中对 Qwen3.8-Flash-Next 进行推测解码时，从 MTP 头升级到 DFlash 2 草稿模型，声称平均可提速约 17%，并推荐使用 Q4_0 量化，因为它的接受率和速度与 Q8_0 相当，同时可少用 287 MiB 内存。该卡片还详细介绍了 MTP 头与 DFlash 2 草稿模型在运行时内存占用方面的权衡，指出尽管草稿模型在磁盘上更小，但由于其计算缓冲区更大，运行时的内存占用大致相同。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/10/30 19:23

nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF · Hugging Face 来源：https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF ## https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF#qwen38-flash-next-dflash2-ggufQwen3.8-Flash-Next-DFlash2-GGUF incoai/Qwen3\.8\-Flash\-Next\-DFlash2 (https://huggingface.co/incoai/Qwen3.8-Flash-Next-DFlash2) 的 GGUF 转换版本；它是Qwen/Qwen3\.8\-Flash\-Next (https://huggingface.co/Qwen/Qwen3.8-Flash-Next) 的 DFlash 2 草稿模型，用于 llama.cpp 的draft\-dflash推测解码。这不是独立的语言模型。它生成草稿 token，由 Qwen3.8-Flash-Next 目标模型进行验证。DFlash 2 是一个块扩散草稿模型：它在一次前向计算中提出一整块 token，保留每个位置的最佳候选项，再由一个小型选择器从中选出一条连贯的路径。验证是无损的：贪心输出与目标模型完全一致，采样则保持目标模型的分布。有关方法和上游 (SGLang、GB300) 评测，请参阅上游模型卡 (https://huggingface.co/incoai/Qwen3.8-Flash-Next-DFlash2)、博客文章 (https://inco.ai/blog/dflash2/) 和 z-lab/dflash (https://github.com/z-lab/dflash)。 ## https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF#files文件 文件类型大小SHA-256Qwen3\.8\-Flash\-Next\-DFlash2\-Q4\_0\.ggufQ4_0 ( 推荐 )334 MiB459ab2b234895060ea5a07714341a0cf548a00e57c9ab0d068cc89c5c5ac19c7``Qwen3\.8\-Flash\-Next\-DFlash2\-Q8\_0\.ggufQ8_0622 MiB5e7163abcbee4f348adced14c0f545fa4f2c5a1fdfd4d0a914b176e1c866ac9e 草稿模型：5 层，隐藏维度 2560，块大小 8，滑动窗口注意力 (2048)，读取目标模型的第 5/15/25/35/45 层。BF16 源模型大小为 1,150 MiB。 ## https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF#recommendation-use-q4_0建议：使用 Q4_0 Q4_0 在接受率和速度上与 Q8_0 相当，加载时少占用 287 MiB。在相同目标模型和设置下测得 (n-max 5、p-min 0.75、2 轮)：草稿模型接受率解码速度，4 个提示词的几何平均值已加载权重Q8_085.4%74.3 t/s611 MiBQ4_0****86.4%74.6 t/s324 MiB ## https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF#memory-mtp-head-vs-dflash-2内存：MTP 头与 DFlash 2 在磁盘上，DFlash 2 草稿模型的大小约为 Flash-Next 的 MTP 头的六分之一。运行时两者的内存开销大致相同，因为 DFlash 草稿模型的计算缓冲区 (2.9 GiB) 远大于其权重。根据 llama-server 自身的缓冲区报告测得：Qwen3.8-Flash-Next UD-Q5_K_XL 目标模型，\-c 131072、\-ub 1024、Metal。推测解码增加的开销MTP 头 Q4_0 (ggml-org (https://huggingface.co/ggml-org))，n-max 3DFlash 2 Q4_0，n-max 5DFlash 2 Q8_0，n-max 5磁盘文件2,098 MiB334 MiB622 MiB草稿模型权重 (已加载)2,087 MiB324 MiB611 MiB草稿模型 KV 缓存320 MiB60 MiB60 MiB草稿模型计算缓冲区891 MiB2,926 MiB2,926 MiB目标模型循环状态回滚 (每个草稿 token 112.6 MiB)338 MiB563 MiB563 MiB目标模型计算缓冲区增量048 MiB48 MiB总计3,636 MiB3,921 MiB****4,208 MiB 关于扩展的两点说明：- DFlash 的 KV 缓存固定为 60 MiB，因为其注意力使用 2048 token 的滑动窗口。MTP 头的 KV 缓存随\-c增长；按线性外推，在 262144 时约为 640 MiB (未经测量)。- Flash-Next 是一种混合 (Gated DeltaNet) 模型。目标模型为每个草稿 token 保留一个循环状态快照，以便回滚被拒绝的草稿，因此无论使用哪种草稿模型，增加\-\-spec\-draft\-n\-max深度都会使每一步的开销增加约 113 MiB。 ## https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF#llamacpp-usagellama.cpp 用法 推荐设置：draft\-dflash、n-max 5、p-min 0.75、默认 (贪心) 草稿采样、单槽位。 llama-server \ -m Qwen3.8-Flash-Next-UD-Q5_K_XL-00001-of-00006.gguf \ -md Qwen3.8-Flash-Next-DFlash2-Q4_0.gguf \ --spec-type draft-dflash --spec-draft-n-max 5 --spec-draft-p-min 0.75 \ -c 131072 -np 1 -ub 1024 -ngl 99 -fa on \ --jinja --reasoning-format deepseek \ --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0 添加\-\-mmproj 以支持视觉；DFlash 在包含图像的提示词上仍会继续生成草稿。这些采样值是 Flash-Next 的官方思考模式配置。说明：- n-max 和 p-min 在启动时固定。draft\-dflash路径会忽略每个请求中的speculative\.n\_max/speculative\.p\_min，因此更改它们需要重启服务器。- **在 p-min 0.75 时，深度几乎没有影响。**n-max 5 / 6 / 7 / 8 的实测速度为 74.5 / 75.2 / 75.8 / 76.2 t/s (几何平均值)，可视为持平。更深的草稿只对列表类输出有帮助 (相较于 MTP，n5 时 +29%，n8 时 +48%)，对 prose 类连续文本则略有负面影响 (n5 时 -1%，n8 时 -5%)。仅当工作负载主要为列表时，才使用 n-max 8。- **门控：**p-min 0.75 优于 0.3 (72.6) 和 0.0 (69.6)。p-min 0.9 表现较差 (70.9)。\-\-spec\-draft\-sampling probabilistic相较于贪心采样的实测结果为 -0.7%，因此请保留默认设置。- 与 ngram-mod 级联 (\-\-spec\-type ngram\-mod,draft\-dflash) 可能生成长度超过 n-max 的草稿。对于混合目标模型，这需要 llama.cpp b11996 或更新版本，其中包含 #31350 (https://github.com/ggml-org/llama.cpp/pull/31350)。单独使用draft\-dflash生成的草稿不会超过 n-max。- **并发：这里的所有测量均在\-np 1下进行。未测试 Metal 上的多槽位行为。 ## https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF#measured-performance实测性能 硬件与构建：Apple M5 Max，128 GB，Metal。llama.cpp v0.8.0 (8642541b2) +#31350 (https://github.com/ggml-org/llama.cpp/pull/31350)+#29030 (https://github.com/ggml-org/llama.cpp/pull/29030)(对 n-gram 表进行按行读取；仅影响内存，与 DFlash 无关)。方法：temperature 1.0、top-p 0.95、top-k 20，关闭思考，生成 600 个新 token，固定随机种子，2 轮。在同一会话中，分别于 DFlash 各组测试之前和之后运行 MTP 基线，两次 MTP 运行的结果差异在 3% 以内。提示词：连续文本 (网络知识说明)、代码 (带测试的 LRU 缓存模块)、列表 (斐波那契数列和质数列表)，以及 ctx (一段 5.8k token 的 C++ 源码，要求重写并添加注释)。 ### https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF#qwen38-flash-next-unsloth-ud-q5_k_xl–c-131072Qwen3.8-Flash-Next (Unsloth UD-Q5_K_XL)， \-c 131072 提示词MTP n3 / p0.75DFlash 2 Q4_0 n5 / p0.75Δ连续文本48.8 t/s48.4 t/s-1%代码68.9 t/s78.7 t/s+14%列表79.5 t/s102.7 t/s+29%ctx (5.8k)66.6 t/s78.5 t/s+18%**25k token 上下文，n-max 867.1 t/s68.7 t/s+2% (持平) 接受率：按每个草稿 token 计算，MTP 为 89.7%，DFlash 为 87.4%。DFlash 在每个验证步骤中生成更多草稿 token，这正是加速的来源。 ### https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF#fine-tunes-of-the-same-base-drafter-unchanged同一基础模型的微调版本 (草稿模型不变) 草稿模型是在基础模型上训练的，但也适用于经过后训练的变体。采用相同方法，先运行 MTP，再运行 DFlash：目标模型连续文本代码列表ctx (5.8k)几何平均值huihui abliterated，UD-Q4_K_XL，\-c 262144-3%+18%+39%+19%75.1 → 87.9 t/sukisai Swift 1.5，Q5_K_L，\-c 163840-2%+12%+24%+10%71.8 → 79.5 t/s 每个目标模型在启用 DFlash 时，都通过了一次工具调用、一次思考模式回答和两个图像提示词测试。 ## https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF#conversion转换 两个文件均使用 llama.cpp 的convert\_hf\_to\_gguf\.py转换。词表由上游仓库附带的 target-tokenizer 文件夹提供： python convert_hf_to_gguf.py Qwen3.8-Flash-Next-DFlash2 \ --target-model-dir Qwen3.8-Flash-Next-DFlash2/target-tokenizer \ --outtype bf16 --outfile Qwen3.8-Flash-Next-DFlash2-BF16.gguf llama-quantize Qwen3.8-Flash-Next-DFlash2-BF16.gguf Qwen3.8-Flash-Next-DFlash2-Q4_0.gguf Q4_0 Q8_0 使用 v0.7.0 转换器生成。使用 v0.8.0 重新转换会得到完全相同的张量。 ## https://huggingface.co/nazeshinjite/Qwen3.8-Flash-Next-DFlash2-GGUF#credits-and-citation致谢与引用 草稿模型由 Inco AI (https://inco.ai/) 开发，基于 DFlash (https://github.com/z-lab/dflash) 构建。本仓库仅提供 GGUF 转换和 llama.cpp 测量结果。请引用原始工作： @misc{inco2026dflash2, title = {{DFlash 2: Keep Drafting Parallel}}, author = {{Inco AI}}, year = {2026}, month = {August}, url = {https://inco.ai/blog/dflash2/} } @inproceedings{chen2026dflash, title = {{DFlash: Block Diffusion for Flash Speculative Decoding}}, author = {Chen, Jian and Liang, Yesheng and Liu, Zhijian}, booktitle = {International Conference on Machine Learning (ICML)}, year = {2026} }

相似文章