dflash

分享在 llama.cpp 中使用 dflash 投机解码的新方案，在单张 RTX 3090 上结合 Qwen3.6-27B GGUF 和草稿模型达到约 70 TPS。

在 llama-server 中，Ornith 35B 与 Qwen3.6 35B DFlash 推测模型搭配使用时，token 生成速度提升了 30-40%，在混合代码和文本上实现了 80% 的接受率，但提示处理性能有所下降。

DSpark 的进展更新：DFlash 骨干网络和马尔可夫头的训练已完成，可在 27B 上使用。接下来将训练置信度头以实现自适应草稿生成，预计比 DFlash 加速 8-14%。

Charles Frye宣布与Z Lab共同发布六款新的DFlash推测器，用于阿里巴巴Qwen 3.x系列模型，在B200上为Qwen 3.5 122B-A10B实现了每秒超过1000个输出token。

Modal和Z Lab发布了六款新的DFlash推测解码草稿模型，用于Qwen 3.x，在B200上实现了每秒超过1000个token，并认为推测解码是最有影响力的推理优化。

Z Lab、SGLang和Modal发布DFlash，这是一种针对Qwen 3.5 397B-A17B的新型投机解码模型，采用块扩散和KV注入技术，相较于基线实现超过4倍吞吐量提升，相较于原生MTP实现1.5倍提升。

关于 DFlash 和 Spec V2 推测解码方法的新研究实现了 LLM 推理的 >4.3倍基准吞吐量，现已成为 SGLang 的默认推测解码引擎。

小米发布了搭载DFlash和Persistent内核的MiMo V2.5，实现了1000-3000 tps。DFlash模型现已可用，并承诺即将开源发布。

在 RTX 5090 上对 DFlash 推测解码结合 KV 缓存压缩进行的基准测试显示，针对 Qwen3.6-27B 模型最高可实现 3.26 倍加速，且困惑度下降极小，其中 q4_0/turbo4 提供了最佳平衡。

一个名为club-3090的GitHub仓库提供了在RTX 3090 GPU上本地运行大型语言模型的配方和配置，支持多种引擎和量化方法，如Dflash和TurboQuant，包括新解锁的Q5量化。

BeeLlama v0.2.0 引入了 DFlash 投机解码的重大改进，在单张 RTX 3090 上，Gemma 4 31B 加速最高达 4.93 倍，Qwen 3.6 27B 加速最高达 4.40 倍，且提示处理速度接近基线。

用户寻求使用DFlash和MTP投机解码技术优化双3090上的令牌生成速度，使用llama.cpp和beellama，分享了他们的配置和命令。

在 LLM Engineer's Almanac 中添加了一个 Token 计时模拟器小部件，展示了 DFlash 技术实现约 1000 TPS 的效果，帮助用户直观理解基准测试性能数据。

Zai_org 的 DFlash 初始实现已集成到 ZML AI 中，并计划将其纳入 zml/llmd。

dflash-mlx v0.1.6 已发布，带来重大代理改进，包括自适应验证、自定义内核、前缀缓存改进，以及与 OpenCode、aider、Continue 等代理编码工具的更广泛兼容性。

本文探讨了 DFlash 和 PFlash 多模型加速方法与 Heretic（一种用于模型去审查的工具）之间的潜在兼容性，同时强调了其在 Qwen3.6 和 Gemma 4 等模型上的性能优势。

Kimi K2.6 搭配 DFlash 推理系统在 8×AMD MI300X 上实现 508 tokens/s，相比 90 tokens/s 基线零质量损失地提升 5.6 倍吞吐。

Z-lab 发布适用于 Qwen3.6-35B-A3B 的 DFlash 模型微调/压缩技术，训练已全部完成，权重现已在 GitHub 和 HuggingFace 上提供。