@no_stp_on_snek：在自定义Rust内核和Swift调度领域忙碌的一晚。9个PR中有3个是真正新增或修改的Metal内核……
摘要
在自定义Rust内核和Swift调度逻辑的优化下，Qwen3.6-35b-A3B模型的预填速度在2k提示下从255 tok/s提升到1058 tok/s，实现了约4倍的加速，解码和困惑度未受影响。
查看缓存全文
缓存时间: 2026/07/07 05:25
繁忙的夜晚，涉及自定义Rust内核和Swift调度逻辑。
9个PR中有3个是全新或修改后的金属内核。另外6个是Swift端的调度逻辑，要么负责连接这些内核，要么重构现有内核的调用方式。
最终效果：Qwen3.6-35b-a3b的预填充速度从255 tok/s提升到1058 tok/s（2K提示长度下），大约提升了4倍。解码速度和困惑度保持不变。
仍有大量工作要做。
相似文章
@nicekate8888: 最近二十天我都在折腾一件事——怎么让 Qwen3.6-27B 在我的 Mac 上跑得又快又好。 一开始我用 Unsloth Q5，18 tok/s，风扇呼啦呼啦响。 后来换成 MLX 6bit + DFlash，提到 22 tok/s，还…
用户分享在Mac上通过不同量化方法（Unsloth Q5、MLX 6bit + DFlash、MTPLX 4bit）优化Qwen3.6-27B推理速度的经验，最终达到43 tok/s。
@no_stp_on_snek: 还有人谈论 mlx-swift-lm 吗？说我在休息一天……清理了鸡舍，锻炼了一下，然后…
作者描述了将 TurboQuant KV-cache 压缩集成到 Apple 的 mlx-swift-lm 中，实现了 2.7 倍压缩，质量与 8-bit 相当，并通过融合 Metal 内核将解码速度提升了 3-4 倍。
@seclink: 这家伙刚刚在一块单张 3090 显卡上，跑出了 Qwen 3.5-27B Dense 模型 134 tok/s 的速度，以及新版 Qwen 3.6-27B 模型 73 tok/s 的速度。2026 年的开源社区，其发展速度简直如神速一般。…
A single RTX 3090 achieves 134 tok/s on the new 27B Qwen 3.5 Dense and 73 tok/s on Qwen 3.6-27B using fused kernels and speculative decoding, with same-day GGUF releases.
在 64GB Mac 上以 41–52 tok/s 运行 95.5 GiB 的 Qwen3.8-Flash-Next（比 llama.cpp 快 1.76 倍）：Slipstream 发布，130k 上下文扩展，以及 Swift 变体
作者发布 Slipstream——一款针对 Apple Silicon 的 C++ Metal 推理引擎，支持原生 SSD 专家流式加载与投机草稿解码，可在 64GB Mac 上以 41–52 tok/s 运行 95.5 GiB 的 Qwen3.8-Flash-Next 模型，比 llama.cpp 快 1.76 倍，且 130k 长上下文下速度不衰减。
48GB 显存下速度与质量兼得！（Qwen 3.8 27B Swift 1.5 W8A16）
作者发布了自制的 Qwen 3.8 27B Swift 1.5 量化模型（8-bit AWQ + GPTQ 混合量化），在 4 张 RTX 3090 / 48GB 显存上实现了速度与质量的良好平衡，在 2 张 RTX 3090 上配合 vLLM 与 MTP 可达到近 100 tok/s 的解码速度。