@no_stp_on_snek：在自定义Rust内核和Swift调度领域忙碌的一晚。9个PR中有3个是真正新增或修改的Metal内核……
摘要
在自定义Rust内核和Swift调度逻辑的优化下，Qwen3.6-35b-A3B模型的预填速度在2k提示下从255 tok/s提升到1058 tok/s，实现了约4倍的加速，解码和困惑度未受影响。
查看缓存全文
缓存时间: 2026/07/07 05:25
繁忙的夜晚，涉及自定义Rust内核和Swift调度逻辑。
9个PR中有3个是全新或修改后的金属内核。另外6个是Swift端的调度逻辑，要么负责连接这些内核，要么重构现有内核的调用方式。
最终效果：Qwen3.6-35b-a3b的预填充速度从255 tok/s提升到1058 tok/s（2K提示长度下），大约提升了4倍。解码速度和困惑度保持不变。
仍有大量工作要做。
相似文章
@nicekate8888: 最近二十天我都在折腾一件事——怎么让 Qwen3.6-27B 在我的 Mac 上跑得又快又好。 一开始我用 Unsloth Q5，18 tok/s，风扇呼啦呼啦响。 后来换成 MLX 6bit + DFlash，提到 22 tok/s，还…
用户分享在Mac上通过不同量化方法（Unsloth Q5、MLX 6bit + DFlash、MTPLX 4bit）优化Qwen3.6-27B推理速度的经验，最终达到43 tok/s。
@no_stp_on_snek: 还有人谈论 mlx-swift-lm 吗？说我在休息一天……清理了鸡舍，锻炼了一下，然后…
作者描述了将 TurboQuant KV-cache 压缩集成到 Apple 的 mlx-swift-lm 中，实现了 2.7 倍压缩，质量与 8-bit 相当，并通过融合 Metal 内核将解码速度提升了 3-4 倍。
@seclink: 这家伙刚刚在一块单张 3090 显卡上，跑出了 Qwen 3.5-27B Dense 模型 134 tok/s 的速度，以及新版 Qwen 3.6-27B 模型 73 tok/s 的速度。2026 年的开源社区，其发展速度简直如神速一般。…
A single RTX 3090 achieves 134 tok/s on the new 27B Qwen 3.5 Dense and 73 tok/s on Qwen 3.6-27B using fused kernels and speculative decoding, with same-day GGUF releases.
@bstnxbt：DFlash v0.1.4：为量化版 Qwen3 混合模型提供自定义 Metal 验证内核，并显著降低峰值内存占用……
DFlash v0.1.4 发布了面向量化版 Qwen3 混合模型的自定义 Metal 验证内核，在 M5 Max GPU 上可显著降低峰值内存占用，并在长上下文场景下实现 2.2 倍吞吐量提升。
Qwen3.8-27B 在 Apple Silicon 上借助 mlx-dspark 速度提升至约3倍
mlx-dspark v0.10.0 新增了对 Apple Silicon 上 Qwen3.8-27B 的支持，通过无损验证的推测解码提供高达3倍的速度提升。