@inco_ai: 希望您喜欢我们的首次发布!(更多精彩即将呈现)

X AI KOLs Timeline 模型

摘要

Inco AI 宣布 DFlash 2,这是一项下一代解码技术,可在 M5 Max MacBook Pro 上为 Qwen3.8-27B 实现高达 4.6 倍的速度提升,提高效率而不改变输出。

希望您喜欢我们的首次发布!(更多精彩即将呈现)
查看原文
查看缓存全文

缓存时间: 2026/08/19 06:38

希望你喜欢我们的首次发布!(还有更多即将到来)

刘志坚 (@zhijianliu_): DFlash 2 来了!在 M5 Max MacBook Pro 上,Qwen3.8-27B 模型能达到 70 tok/s 的速度。

⚡ 在输出结果相同的前提下,速度最高可达自回归解码的 4.6 倍。

这是 DFlash 的下一代产品,最初在 Z Lab 孕育,后在 Inco AI 完成升级。每次处理都能免费多获得一个被接受的 token!

相似文章

KFlash:新发布的 Apple Silicon 优化引擎基准测试:1.4.0 Splash(DFlash2 ~ 50 tok/s)对比 0.2 Kapitsa(KFlash ~65 tok/s),在 Qwen 3.8 27b/4b/35b 4Q 上测试 MLX(MTP) 等,测试平台为 Macbook Pro M4 Pro 48GB 2024 和 Macbook Pro M1 Pro 16GB 2021

Reddit r/LocalLLaMA

Nace.AI 的 Kapitsa 0.2 随之推出 KFlash——一种面向 Apple Silicon 的基于 best-first 树搜索的投机解码(speculative decoding)方法。该方法在 M4 Pro 和 M1 Pro MacBook 上,基于 Qwen 模型与 Splash 1.4.0 的 DFlash2、mlx-serve、Ollama、llama.cpp 等方案进行了基准测试,展现出顶尖的解码吞吐量(约 65–201 tok/s)。