@Italianclownz：在 @UnslothAI 和 @Alibaba_Qwen Qwen 3.6 35B A3B MTP MXFP4_MoE 模型上测试了 MTP、TriAttention 和 TurboQuant，发布在 @huggingface @no_stp…
摘要
一名用户在消费级硬件上使用 Unsloth 对 Qwen 3.6 35B 进行了基准测试，对比了 MTP、TriAttention 和 TurboQuant 优化效果，发现 TurboQuant 最为有效。
查看缓存全文
缓存时间: 2026/05/13 00:32
在 @huggingface 上测试了 @UnslothAI 和 @Alibaba_Qwen 的 Qwen 3.6 35B A3B MTP MXFP4_MoE 模型，分别应用了 MTP、TriAttention 和 TurboQuant 技术。
@no_stp_on_snek TurboQuant 表现最佳，胜过 MTP。TriAttention 仅在较长的上下文窗口中显示出性能提升。
硬件配置：RTX 3060 12 GB，第 8 代 i5 处理器，46 GB 内存 https://t.co/RIlcG7VvRk
相似文章
成功运行 MTP + TurboQuant — Qwen3.6-27B 在单 RTX 4090 上实现 262K 上下文 80+ token/秒
开发者通过将 MTP（多 Token 预测）与 TurboQuant 的无损 KV缓存压缩技术相结合，在单张 RTX 4090 上实现了 Qwen3.6-27B 模型在 262K 上下文下 80+ token/秒的推理速度，并分享了实现分支和技术细节。
@Snixtp: https://x.com/Snixtp/status/2055734339346768225
某用户使用llama.cpp在单张RTX 3090上对Qwen3.6 27B的MTP变体与普通版本进行了基准测试，发现MTP在长上下文（32k-64k）下生成速度最高可提升2.37倍，但预填充较慢且暂不支持并发。
@TeksEdge: Unsloth 发布了目前我测试过的最快的 Qwen3.6-27B MTP GGUF。是时候升级了。与之前的 GGUF 相比，Q4/Q6 XL 版本的推理速度快了约 55%…
Unsloth 发布了优化后的 Qwen3.6-27B MTP 模型 GGUF 版本，与前序量化版本相比，推理速度显著提升（在 RTX 5090 上最高可达 114 tok/s）。
更多 Qwen3.6-27B MTP 的成功案例，但这次是在双路 Mi50 上
本文在双路 Mi50 GPU 上，使用多令牌预测（MTP）和张量并行技术对 Qwen3.6-27B 模型进行了基准测试，展示了通过 llama.cpp 实现的显著加速效果。
Qwen 3.6 35B GGUF：跨GPU和CPU的NTP vs MTP量化结果
ByteShape发布了Qwen 3.6 35B GGUF的NTP和MTP变体量化，并在多个GPU和CPU上进行了详细基准测试，发现更大的量化模型通常优于较小的模型，MTP以内存为代价提供了GPU速度提升。