@inco_ai: 希望您喜欢我们的首次发布!(更多精彩即将呈现)
摘要
Inco AI 宣布 DFlash 2,这是一项下一代解码技术,可在 M5 Max MacBook Pro 上为 Qwen3.8-27B 实现高达 4.6 倍的速度提升,提高效率而不改变输出。
查看缓存全文
缓存时间: 2026/08/19 06:38
希望你喜欢我们的首次发布!(还有更多即将到来)
刘志坚 (@zhijianliu_): DFlash 2 来了!在 M5 Max MacBook Pro 上,Qwen3.8-27B 模型能达到 70 tok/s 的速度。
⚡ 在输出结果相同的前提下,速度最高可达自回归解码的 4.6 倍。
这是 DFlash 的下一代产品,最初在 Z Lab 孕育,后在 Inco AI 完成升级。每次处理都能免费多获得一个被接受的 token!
相似文章
Qwen3.8-27B在M5 Max MacBook Pro上实现144 tok/s速度
Inco Splash是一款针对Apple silicon优化的开源推理引擎,在M系列MacBook上运行Qwen3.8-27B等AI模型时提供了显著的速度提升。
KFlash:新发布的 Apple Silicon 优化引擎基准测试:1.4.0 Splash(DFlash2 ~ 50 tok/s)对比 0.2 Kapitsa(KFlash ~65 tok/s),在 Qwen 3.8 27b/4b/35b 4Q 上测试 MLX(MTP) 等,测试平台为 Macbook Pro M4 Pro 48GB 2024 和 Macbook Pro M1 Pro 16GB 2021
Nace.AI 的 Kapitsa 0.2 随之推出 KFlash——一种面向 Apple Silicon 的基于 best-first 树搜索的投机解码(speculative decoding)方法。该方法在 M4 Pro 和 M1 Pro MacBook 上,基于 Qwen 模型与 Splash 1.4.0 的 DFlash2、mlx-serve、Ollama、llama.cpp 等方案进行了基准测试,展现出顶尖的解码吞吐量(约 65–201 tok/s)。
Qwen3.8-Flash-Next (125B) 在2021款32GB M1 Max上达到12-15 token/s
MoEspresso 3 是一个推理引擎,在配备32GB RAM的2021款M1 Max上,为Qwen3.8-Flash-Next模型实现了每秒12-15个解码token的速度。它采用Cache-Prior等技术优化性能,并在基准测试中超越了部分托管解决方案。
M2 Ultra/Qwen3.8 Flash 最新更新 - 最新 oMLX 引入重大加速
最新 oMLX 更新为 Apple 的 M2 Ultra 芯片和 Qwen3.8 Flash AI 模型带来重大加速,提升性能和效率。
@rohanpaul_ai:目前,一些最有价值的推理工作正在推测解码组件中展开。它已成为一个……
EAGLE-4 发布,作为投机解码加速组件在 Qwen3.8-27B 上达到 961.6 tokens/s,单请求下比 DFlash 2 快 1.28 倍、比 DSpark 快 1.40 倍,通过“草拟并验证”循环实现约 3 倍加速且输出完全一致。