Qwen3.6:35b UD Q4_K_M 在 Nvidia P40 上实现 80 tok/s

Reddit r/LocalLLaMA 模型
qwen llama-cpp quantization nvidia-p40 performance optimization local-ai

摘要

一位用户分享在单个 Nvidia P40 上使用 TheTom 的 TurboQuant 版 llama.cpp，以 Q4_K_M 量化方式和 100k 上下文运行 Qwen3.6 35B 模型，实现了 80 tok/s，并强调了多种优化。

https://preview.redd.it/nrxkobib5hdh1.png?width=1147&format=png&auto=webp&s=a36a282635bcbb23c0c2bdffa855689eab5e76f9 我正在使用 TheTom 的 TurboQuant 版 llama.cpp，在单个 NVIDIA P40 (24GB) 上运行 Unsloth 的 Qwen3.6:35B UD Q4_K_M，上下文长度为 100k。我知道这只是突发速度，但我认为值得与社区分享。 - TurboQuant 已启用（未将 K 降至 Turbo2 以保持代理质量） - 推理功能已禁用，因为它会持续陷入思考循环 - 未加载视觉组件，这节省了约 300 MB 显存，使我能够在 P40 上容纳完整的 100k 上下文 目前我正在尝试从这台旧硬件中榨出最后一点性能，同时不使模型作为代理无法使用。如果有人知道更多针对 llama.cpp 或 P40 的“黑魔法”优化，我很乐意听听！ llama-server --host 0.0.0.0 --port 11436 --hf-repo unsloth/Qwen3.6-35B-A3B-MTP-GGUF --hf-file Qwen3.6-35B-A3B-UD-Q4_K_M.gguf --ctx-size 100000 --parallel 1 --threads 12 --threads-batch 12 --batch-size 2048 --ubatch-size 512 --n-gpu-layers 99 --n-cpu-moe 0 --flash-attn on --no-mmap --jinja --alias qwen3.6:35b --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.0 --cache-type-k q8_0 --cache-type-v turbo2 --spec-type draft-mtp --spec-draft-n-max 2 --no-mmproj --reasoning off
查看原文

相似文章

Qwen3.6 27B Pure Quant: 16 GB 显存下 40 tok/s

Reddit r/LocalLLaMA

使用纯 Q4_K_M 方法对 Qwen3.6 27B 进行量化的版本完全适配 16 GB 显存，在 MTP 下可实现高达 40 tok/s 的 token 生成速度，相比其他 GGUF 变体显著缩小模型体积。