bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF · Hugging Face

来源：https://huggingface.co/bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF ThinkingCap — BottleCap AI (https://www.bottlecapai.com/)

GGUF /llama.cpp (https://github.com/ggml-org/llama.cpp) 量化版本，基于bottlecapai/ThinkingCap-Qwen3.6-27B (https://huggingface.co/bottlecapai/ThinkingCap-Qwen3.6-27B) — 在保持 Qwen3.6-27B 能力的同时，平均减少 50% 的思考 token，通过对 Qwen3.6-27B (Qwen Team, 2026) (https://huggingface.co/Qwen/Qwen3.6-27B) 进行在线强化学习微调实现，同时保留原始答案的质量和风格。

➡️ 完整模型描述、评估结果（多次种子测试、统计检验）、推荐采样参数和引用：请查看主模型卡：bottlecapai/ThinkingCap-Qwen3.6-27B (https://huggingface.co/bottlecapai/ThinkingCap-Qwen3.6-27B)。

关于 GGUF 和量化

GGUF (https://github.com/ggml-org/ggml/blob/master/docs/gguf.md) 是一种单文件模型格式，用于通过 llama.cpp 和兼容运行时（Ollama、LM Studio 等）在本地运行大语言模型。下面的量化变体以降低精度存储权重——例如 Q4_K_M 大约每个权重 4.7 位，而不是 16 位的 f16 源——从而将下载大小和内存占用减少数倍，同时带来可衡量的微小质量损失。

文件

f16 是未量化的源；Q8_0 接近无损；Q4_K_M 是大多数本地场景下推荐的大小/质量平衡点。

用法（llama.cpp）

# 直接从 Hub 拉取特定量化版本并对话
llama-cli -hf bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF:Q4_K_M -p "Hi"

# 或下载一个文件后运行
huggingface-cli download bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF ThinkingCap-Qwen3.6-27B-Q4_K_M.gguf --local-dir .
llama-cli -m ThinkingCap-Qwen3.6-27B-Q4_K_M.gguf -p "Hi"

推测解码（MTP）

llama.cpp 可以在这些 GGUF 上运行 MTP（多令牌预测）自我推测解码，以提升解码速度——无需单独的草稿模型。在提供服务时添加 --spec-type draft-mtp：

llama-server -hf bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF:Q4_K_M --spec-type draft-mtp

使用 --spec-draft-n-max 设置草稿长度（例如 4）。需要支持 MTP 的最新版 llama.cpp 构建。

视觉（图像输入）

ThinkingCap 是一个视觉-语言模型。图像输入需要多模态投影器 mmproj-ThinkingCap-Qwen3.6-27B-f16.gguf（在此仓库中）与文本 GGUF 一起加载——单个 f16 mmproj 可与上述任何量化版本配合使用。

• LM Studio / Jan / Ollama 等： 从此仓库下载 mmproj-*.gguf；LM Studio 会自动检测并启用图像（🖼️）按钮。
• llama.cpp CLI：

huggingface-cli download bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF \
  ThinkingCap-Qwen3.6-27B-Q4_K_M.gguf mmproj-ThinkingCap-Qwen3.6-27B-f16.gguf --local-dir .
llama-mtmd-cli -m ThinkingCap-Qwen3.6-27B-Q4_K_M.gguf \
  --mmproj mmproj-ThinkingCap-Qwen3.6-27B-f16.gguf --image photo.jpg -p "Describe this image."

• llama-server： 添加 --mmproj mmproj-ThinkingCap-Qwen3.6-27B-f16.gguf 以暴露兼容 OpenAI 的视觉端点。

预期性能

基于我们在快速 N=100/数据集子集上的内部服务验证基准（llama.cpp，单流，温度 0）：MMLU-Pro（推理）和 RealWorldQA（视觉）——这是一个快速的量化等价 + 解码速度检查，不是完整的准确率评估（如需多次种子测试、统计检验的结果，请查看主模型卡 (https://huggingface.co/bottlecapai/ThinkingCap-Qwen3.6-27B)）。

我们的三个量化版本（f16/Q8_0/Q4_K_M）在准确率上保持在 f16 的子集噪声范围内，而 MTP 自我推测解码（--spec-type draft-mtp，n=4）每个验证步骤接受约 3.75 个令牌——在微调约 50% 令牌节省的基础上，每个令牌解码速度提升约 1.4–1.7 倍。Q4_K_M + MTP（加粗） 是推荐的本地配置。作为参考，我们还列出了 unsloth (https://huggingface.co/unsloth/Qwen3.6-27B-MTP-GGUF) 对基础模型的动态 GGUF（UD-*）：相同的 llama.cpp 路径，但是基础模型的量化版本——因此它们匹配基础模型的准确率，并且思考时间长约 2 倍（没有微调的令牌节省）。

median tokens = 中位完成长度；task s = 中位令牌数 ÷ 单流 tok/s（实际每请求时间）；speedup 是与未量化基础模型在标准解码下的对比。

MMLU-Pro（推理）

RealWorldQA（视觉）