大家在 Qwen3.6 27b 上跑出来的速度是多少？
摘要
用户基准测试 Qwen3.6-27B-Q8_0，在 3 块混合 GPU 上通过 llama.cpp 以约 13 tokens/sec 运行 128k 上下文，询问该性能是否典型。
我在 Q8_0 量化下大约得到 ~13 tps，上下文窗口为 128000，K 缓存 Q8_0，V 缓存 Q8_0。这是在三块 GPU 上运行的（1 块 2060 Super 8GB + 2 块 5060 Ti 16GB），通过 llama.cpp 运行。不确定这个速度是偏慢还是属于正常预期？
启动命令：
```bash
*/llama-server --port 8080 --model */llama.cpp/Qwen3.6-27B-Q8_0/Qwen3.6-27B-Q8_0.gguf -mm */Qwen3.6-27B-Q8_0/mmproj-BF16.gguf -np 1 --temperature 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 1.5 --repeat-penalty 1.0 --chat-template-kwargs '{"preserve_thinking": true}' --cache-type-k q8_0 --cache-type-v q8_0 -c 128000 --fit-target 1536
```
（`--fit-target 1536` 是为了给视觉功能留出一些空间）
相似文章
Qwen 3.8 27B 比预期更快
一位用户报告称，Qwen 3.8 27B 模型在双 5060 TI 显卡上达到了 50-60 个令牌每秒的速度，显示出比之前版本（如 Qwen 3.6）更令人意外的速度提升。
在廉价 Radeon 7600 上运行 Qwen 3.6 35B A3B-Q8_0 gguf，速度 18 token/s * 更新后提升至 21 t/s
用户报告在 Radeon 7600 上使用 llama.cpp 和 ROCm 运行 Qwen 3.6 35B A3B-Q8_0 gguf，在显存超频后达到每秒 21 tokens，并提到一个与显示相关的性能 bug。
在 12GB 显存下，使用 Qwen3.6 35B A3B 与 llama.cpp MTP 实现 80 tok/sec 的速度和 128K 上下文
一名用户分享了一份配置方案，该方案在使用 llama.cpp 和多令牌预测（MTP）的情况下，能在 12GB 显存的 GPU 上让 Qwen3.6 35B A3B 模型实现超过每秒 80 个令牌的生成速度。帖子中包含了基准测试结果以及用于优化性能的具体命令行参数。
在 8GB 显存和 32GB 内存上运行 Qwen3.6 35b a3b，~190k 上下文
作者分享了一种高性能的本地推理配置，使用支持 TurboQuant 的修改版 llama.cpp，在硬件受限（8GB 显存、32GB 内存）的情况下运行 Qwen3.6 35B A3B，实现了 ~37-51 tok/sec 的生成速度，并支持 ~190k 上下文。
Qwen 3.6 在双 RTX PRO 6000 上的基准测试
使用 VLLM 在双 RTX PRO 6000 GPU 上对 Qwen 3.6 27B 和 35B 模型进行基准测试，生成吞吐量高达每秒 3500 个令牌。