Qwen3.5-122B-Q5-MTP - Qwen3.5-122B-Q6-MTP
摘要
在Strix Halo上使用llama.cpp进行多token预测的Qwen3.5-122B Q5和Q6量化模型的基准对比，吞吐量分别为20.24 t/s和17.17 t/s。
给关心的人看... 😄 prompt = spen 1000 tokens unsloth MTP模型 strix halo llama.cpp:server-rocm-mtp \\ \--spec-type draft-mtp \\ \--spec-draft-n-max 3 ***Qwen3.5-122B-Q5-MTP-General*** n\_decoded = 100 tg = ***29.77 t/s*** n\_decoded = 179 tg = 27.95 t/s n\_decoded = 254 tg = 26.80 t/s n\_decoded = 4056 tg = 20.23 t/s n\_decoded = 4120 tg = 20.23 t/s n\_decoded = 4181 tg = ***20.22 t/s*** prompt eval time = 408.99 ms / 19 tokens eval time = 207516.64 ms / 4200 tokens ***tg = 20.24 t/s*** ***Qwen3.5-122B-Q6-MTP-General*** n\_decoded = 102 tg = ***25.10 t/s*** n\_decoded = 174 tg = 24.25 t/s n\_decoded = 225 tg = 22.04 t/s n\_decoded = 3193 tg = 17.27 t/s n\_decoded = 3244 tg = 17.26 t/s n\_decoded = 3281 tg = ***17.18 t/s*** prompt eval time = 488.39 ms / 19 tokens eval time = 191156.72 ms / 3283 tokens ***tg = 17.17 t/s***
相似文章
Qwen 3.6-27B Dense 与 MTP 在 Strix Halo Windows 上的基准测试
Qwen 3.6-27B Dense 和 MTP 变体在 Strix Halo Windows 上通过 llama.cpp 运行的社区基准测试，展示了各项任务的 token/s 速度。
Strix Halo上的llama.cpp多令牌预测（MTP）基准测试：27B模型大幅提速，35B模型表现不一
在Strix Halo上对llama.cpp中的多令牌预测（MTP）进行的基准测试显示，长上下文聊天场景下27B Qwen模型显著加速，而35B模型则表现不一。
更多 Qwen3.6-27B MTP 的成功案例，但这次是在双路 Mi50 上
本文在双路 Mi50 GPU 上，使用多令牌预测（MTP）和张量并行技术对 Qwen3.6-27B 模型进行了基准测试，展示了通过 llama.cpp 实现的显著加速效果。
在 12GB 显存下，使用 Qwen3.6 35B A3B 与 llama.cpp MTP 实现 80 tok/sec 的速度和 128K 上下文
一名用户分享了一份配置方案，该方案在使用 llama.cpp 和多令牌预测（MTP）的情况下，能在 12GB 显存的 GPU 上让 Qwen3.6 35B A3B 模型实现超过每秒 80 个令牌的生成速度。帖子中包含了基准测试结果以及用于优化性能的具体命令行参数。
在 Qwen3.6 - RTX 5090 上测试 llama.cpp 的 MTP 支持
在 RTX 5090 上使用 Qwen3.6 模型对 llama.cpp 的新多标记预测（MTP）支持进行技术测试，比较不同提示和 GGUF 量化下开启和关闭 MTP 的性能表现。