ThinkingCap-Qwen3.6-27B 值得一看

我才将工作流完全从 Qwen3.5-27B F16 切换到 ThinkingCap-Qwen3.6-27B F16 两天。之前我的 tps 在 30-40 范围内（取决于上下文大小），现在明确地达到了 35-45 范围。你可能会说提升不大，但我没有注意到任何质量下降。他们声称减少了 token 使用量。或许这就是 tps 提高的原因。关键是他们没有搞乱模型的核心能力。聊天模板是 froggeric。我被说服了。在 Qwen 发布下一个版本之前，我会一直使用这个模型。spec-draft-n-max 4 效果最好，我尝试过 1 到 6。以下是我的 llama 脚本： CUDA_VISIBLE_DEVICES=3,2,1,0 ~/llama.cpp/build/bin/llama-server \ -m ~/models/ThinkingCap-Qwen3.6-27B/ThinkingCap-Qwen3.6-27B-f16.gguf \ --port 8000 \ -c 262144 -b 4096 -ub 512 -np 2 -ctk f16 -ctv f16 -ctkd f16 -ctvd f16 \ -fa on \ -ts 1,1,1,1 \ --spec-type draft-mtp \ --spec-draft-n-max 4 \ --reasoning on \ --temp 0.6 \ --top-p 0.95 \ --top-k 20 \ --min-p 0.0 \ --repeat-penalty 1.1 \ --presence-penalty 0.1 \ --alias Unsloth/ThinkingCap-Qwen3.6-27B-f16 \ --host 0.0.0.0 \ --no-ui --jinja --chat-template-file ~/models/Qwen3.6/chat_template.jinja 希望得到关于如何修改以获得更高 tps 的建议。