@bstnxbt：DFlash v0.1.4：为量化版 Qwen3 混合模型提供自定义 Metal 验证内核，并显著降低峰值内存占用……
摘要
DFlash v0.1.4 发布了面向量化版 Qwen3 混合模型的自定义 Metal 验证内核，在 M5 Max GPU 上可显著降低峰值内存占用，并在长上下文场景下实现 2.2 倍吞吐量提升。
查看缓存全文
缓存时间: 2026/04/20 09:39
DFlash v0.1.4：为量化版 Qwen3 混合模型定制了 Metal 验证内核，并显著降低长上下文场景下的峰值显存占用。基于 M5 Max 40 核 GPU / 64GB 内存配置，对比默认 mlx_lm 基线：Qwen3.6-35B-A3B-4bit：► @ 1024 · 138.3 → 300.3 tok/s (2.20x) ► @ 2048 · 135.6 → 246.4
相似文章
@nb4ld: 我的首个@huggingface上传 Qwen3.8-27B-DFlash2 for Blackwell - 最终解码速度相同 - 输出质量相同 - 2.6x 显存减少…
发布针对NVIDIA Blackwell GPU优化的Qwen3.8-27B-DFlash2模型的量化版本，实现类似的解码速度和输出质量，显存使用减少2.6倍，并扩展上下文长度。
@zhijianliu_: DFlash for Qwen3.6-35B-A3B 刚刚发布，我们还没完成训练，社区就已经在跑首日预览版了。N…
Z-lab 发布适用于 Qwen3.6-35B-A3B 的 DFlash 模型微调/压缩技术，训练已全部完成，权重现已在 GitHub 和 HuggingFace 上提供。
大家忽略了 Qwen 3.8 27B Q2 + Q2 DFlash + Q5 KV 的实力
一位用户分享了使用 QAT Q2 和 Q5 KV 运行量化版 Qwen 3.8 27B 模型的经验，在 12GB 显卡上实现了高达 200K token 上下文的高性能，性能超越了 Sonnet 4.6 等模型。
我在llama.cpp中测试了最新合并的DFlash在Qwen 3.6 27B本地AI上的表现。36K上下文速度提升4.44倍。以下是我的发现（RTX 6000 PRO）。
一位用户在llama.cpp中测试了新合并的DFlash推测解码方法（Qwen 3.6 27B），在36K上下文下相比基准实现速度提升高达4.44倍，并附有详细的排行榜和质量测试。
DFlash与Spec V2解码（14分钟阅读）
Z Lab、SGLang和Modal发布DFlash，这是一种针对Qwen 3.5 397B-A17B的新型投机解码模型，采用块扩散和KV注入技术，相较于基线实现超过4倍吞吐量提升，相较于原生MTP实现1.5倍提升。