dflash

Georgi Gerganov 建议升级到 DFlash 投机解码，以加快 llama.cpp 中 Qwen3.8-27B 的推理速度，需要使用最新版 llama.cpp v0.6.0 以及 ggml-org/Qwen3.8-27B-GGUF 模型。

Ornith-1.5 模型集成了用于推测解码的 DFlash 草稿模型，已在 Hugging Face 上发布，提供 9B、397B 和 35B-A3B 尺寸。

一位用户分享了使用 QAT Q2 和 Q5 KV 运行量化版 Qwen 3.8 27B 模型的经验，在 12GB 显卡上实现了高达 200K token 上下文的高性能，性能超越了 Sonnet 4.6 等模型。

DFlash 是一种方法，可将 Qwen3.6 27B 模型推理速度提升2.2倍，且质量无损失。

小米低调发布了MiMo-V2.5-DFlash，一个300B参数模型，已在Hugging Face上架，DFlash可能使推理速度翻倍。

分享在 llama.cpp 中使用 dflash 投机解码的新方案，在单张 RTX 3090 上结合 Qwen3.6-27B GGUF 和草稿模型达到约 70 TPS。

在 llama-server 中，Ornith 35B 与 Qwen3.6 35B DFlash 推测模型搭配使用时，token 生成速度提升了 30-40%，在混合代码和文本上实现了 80% 的接受率，但提示处理性能有所下降。

DSpark 的进展更新：DFlash 骨干网络和马尔可夫头的训练已完成，可在 27B 上使用。接下来将训练置信度头以实现自适应草稿生成，预计比 DFlash 加速 8-14%。

Charles Frye宣布与Z Lab共同发布六款新的DFlash推测器，用于阿里巴巴Qwen 3.x系列模型，在B200上为Qwen 3.5 122B-A10B实现了每秒超过1000个输出token。

Modal和Z Lab发布了六款新的DFlash推测解码草稿模型，用于Qwen 3.x，在B200上实现了每秒超过1000个token，并认为推测解码是最有影响力的推理优化。

Z Lab、SGLang和Modal发布DFlash，这是一种针对Qwen 3.5 397B-A17B的新型投机解码模型，采用块扩散和KV注入技术，相较于基线实现超过4倍吞吐量提升，相较于原生MTP实现1.5倍提升。

关于 DFlash 和 Spec V2 推测解码方法的新研究实现了 LLM 推理的 >4.3倍基准吞吐量，现已成为 SGLang 的默认推测解码引擎。

小米发布了搭载DFlash和Persistent内核的MiMo V2.5，实现了1000-3000 tps。DFlash模型现已可用，并承诺即将开源发布。

在 RTX 5090 上对 DFlash 推测解码结合 KV 缓存压缩进行的基准测试显示，针对 Qwen3.6-27B 模型最高可实现 3.26 倍加速，且困惑度下降极小，其中 q4_0/turbo4 提供了最佳平衡。

一个名为club-3090的GitHub仓库提供了在RTX 3090 GPU上本地运行大型语言模型的配方和配置，支持多种引擎和量化方法，如Dflash和TurboQuant，包括新解锁的Q5量化。

BeeLlama v0.2.0 引入了 DFlash 投机解码的重大改进，在单张 RTX 3090 上，Gemma 4 31B 加速最高达 4.93 倍，Qwen 3.6 27B 加速最高达 4.40 倍，且提示处理速度接近基线。

用户寻求使用DFlash和MTP投机解码技术优化双3090上的令牌生成速度，使用llama.cpp和beellama，分享了他们的配置和命令。

在 LLM Engineer's Almanac 中添加了一个 Token 计时模拟器小部件，展示了 DFlash 技术实现约 1000 TPS 的效果，帮助用户直观理解基准测试性能数据。

Zai_org 的 DFlash 初始实现已集成到 ZML AI 中，并计划将其纳入 zml/llmd。

dflash-mlx v0.1.6 已发布，带来重大代理改进，包括自适应验证、自定义内核、前缀缓存改进，以及与 OpenCode、aider、Continue 等代理编码工具的更广泛兼容性。