Q：DFlash（以及 PFlash）是否与 Heretic 模型兼容？
摘要
本文探讨了 DFlash 和 PFlash 多模型加速方法与 Heretic（一种用于模型去审查的工具）之间的潜在兼容性，同时强调了其在 Qwen3.6 和 Gemma 4 等模型上的性能优势。
Z-Lab 在加速输出方面做了一些出色工作，而 Luce 则设法利用同系列的更小模型来加速预填充……鉴于 Heretic 和其他“智能消融”工具能够对模型进行去审查处理，它们能否与这些多模型加速方法配合使用？P.S. 希望更多人能加入 PFlash 的行列，因为 Qwen3.6 和 Gemma 4 都有较小的模型。5 到 10 倍的加速效果似乎令人难以置信。
相似文章
Gemma 4 MTP 与 DFlash 在单张 H100 上：密集模型 vs MoE 模型结果
该基准测试将 Gemma 4 的多 Token 预测 (MTP) 与 z-lab 的 DFlash 推测性解码方法在单张 H100 GPU 上进行了比较，结果显示 MTP 在密集模型上更快，而 DFlash 在 MoE 模型上更快。
DFlash与Spec V2解码（14分钟阅读）
Z Lab、SGLang和Modal发布DFlash，这是一种针对Qwen 3.5 397B-A17B的新型投机解码模型，采用块扩散和KV注入技术，相较于基线实现超过4倍吞吐量提升，相较于原生MTP实现1.5倍提升。
@zhijianliu_: DFlash 现已在生产推理堆栈中运行。更多草稿模型即将推出。https://github.com/z-lab/dflash
DFlash 是一个用于投机解码的轻量级块扩散模型，现已支持 Qwen 和 Gemma 等各种大语言模型并投入生产环境使用。
@bstnxbt：DFlash v0.1.4：为量化版 Qwen3 混合模型提供自定义 Metal 验证内核，并显著降低峰值内存占用……
DFlash v0.1.4 发布了面向量化版 Qwen3 混合模型的自定义 Metal 验证内核，在 M5 Max GPU 上可显著降低峰值内存占用，并在长上下文场景下实现 2.2 倍吞吐量提升。
AMD Strix Halo 上的 Luce DFlash + PFlash：Qwen3.6-27B 解码速度提升 2.23 倍，预填充速度提升 3.05 倍（相较于 llama.cpp HIP）
Luce 为 AMD Strix Halo APU 发布了 DFlash 和 PFlash 支持，在 Qwen3.6-27B 模型上，其解码和预填充速度相比 llama.cpp HIP 分别提升了 2.23 倍和 3.05 倍。