成功运行 MTP + TurboQuant — Qwen3.6-27B 在单 RTX 4090 上实现 262K 上下文 80+ token/秒
摘要
开发者通过将 MTP（多 Token 预测）与 TurboQuant 的无损 KV缓存压缩技术相结合，在单张 RTX 4090 上实现了 Qwen3.6-27B 模型在 262K 上下文下 80+ token/秒的推理速度，并分享了实现分支和技术细节。
最近我一直在鼓捣让 MTP 和 TBQ4_0（TurboQuant 的无损 4.25 bpv KV 缓存）在 Qwen3.6-27B 上一起运行。经过一天的 "vibecoding"，我终于搞出了个能用的版本。从最初编译时的约 43 token/秒，优化后提升到了 80-87 token/秒。在此基础上，MTP draft 接受率约为 73%。
运行配置：
- RTX 4090 24GB
- Qwen3.6-27B-Heretic-v2 Q4_K_M 加上移植的 MTP heads
- 262K 上下文，TBQ4_0 KV 缓存，MTP draft 3
- Ubuntu 24.04，CUDA 12.x
我不是什么专业人士，所以可能还有优化空间，但目前能正常工作，输出质量也相当不错。如果有人想试试或者找找问题，以下是构建分支：
[https://github.com/Indras-Mirror/llama.cpp-mtp](https://github.com/Indras-Mirror/llama.cpp-mtp)
我让 Deepseek 写了份技术细节，感兴趣的朋友可以看看内核架构：[https://indrasmirror.au/blog-mtp-shared-tensors-200k.html](https://indrasmirror.au/blog-mtp-shared-tensors-200k.html)
相似文章
Qwen3.6 27B 在 RTX 5090 上，调整 MTP/缓存设置后的 6.4k 采样 token/s 分布
在 RTX 5090 上运行 Qwen3.6 27B，调整 MTP 和缓存设置后达到每秒 6.4k 个 token，展示了推理优化技术。
RTX 5080 16GB：Qwen3.6 35B MoE 在 128k 上下文下的表现——56 tok/s，以及 MTP 为何无济于事
Qwen3.6 35B MoE 在 RTX 5080 16GB 上的详细基准测试表明，MTP（多令牌预测）由于显存限制，在 128k 上下文中无法提升推理速度；最佳配置为不带 MTP 的 Q4_K_XL，在 128k 上下文下生成速度约 56 tok/s。
@rumgewieselt：现在变得疯狂了……三块 1080 Ti（Pascal架构，33GB VRAM）Qwen 3.6 27B MTP 搭配 196K TurboQuant，持续 ~28-30 t/s
一位用户成功在三个 GTX 1080 Ti GPU 上对 27B 参数的 Qwen 模型进行本地推理，通过 TurboQuant 优化达到了约 28-30 tokens/秒的速度。
Qwen3.6:35b UD Q4_K_M 在 Nvidia P40 上实现 80 tok/s
一位用户分享在单个 Nvidia P40 上使用 TheTom 的 TurboQuant 版 llama.cpp，以 Q4_K_M 量化方式和 100k 上下文运行 Qwen3.6 35B 模型，实现了 80 tok/s，并强调了多种优化。
@Snixtp: https://x.com/Snixtp/status/2055734339346768225
某用户使用llama.cpp在单张RTX 3090上对Qwen3.6 27B的MTP变体与普通版本进行了基准测试，发现MTP在长上下文（32k-64k）下生成速度最高可提升2.37倍，但预填充较慢且暂不支持并发。