orcarouter/Qwen3.8-27B-Uncensored-GGUF · Hugging Face

来源：https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF

Qwen3.8-27B-Uncensored（https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-FP8）的 GGUF 转换版本 — 这是通义千问 Qwen3.8-27B 的一个 “去管制”（移除拒绝机制）构建版本。该模型是一个 27B 密集型混合注意力模型（门控 DeltaNet 线性注意力 + 全注意力），原生支持视觉-语言，具备推理、工具调用功能，并拥有一个用于推测解码的 MTP 头。这些文件在 llama.cpp（CPU / CUDA / Metal / ROCm）中运行，提供从 2-bit 到 16-bit 的量化版本，并包含一个独立的 mmproj 文件以恢复 视觉 功能。可在 OrcaRouter 模型目录（https://www.orcarouter.ai/models）中浏览所有模型。该模型已作为 API 部署于此处（https://www.orcarouter.ai/models/obsidian/qwen3.8-27b）。

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#%E2%9A%A0%EF%B8%8F-disclaimer–read-before-use⚠️ 免责声明 — 使用前请阅读

该模型已通过 去管制（将拒绝方向从残差流中正交移除）大幅移除了安全对齐。它将 接受原始 Qwen3.8-27B 会拒绝的有害、不道德或非法请求。本版本 严格仅用于合法研究 — 可解释性、AI 安全/拒绝机制研究、红队测试和鲁棒性评估。您需对如何使用它及它生成的所有内容承担全部责任；在任何部署前，请添加您自己的安全和审核层。使用必须遵守基础模型继承的 Apache 2.0 许可证（https://www.apache.org/licenses/LICENSE-2.0）及所有适用法律。作者对误用 不承担任何责任。

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#requirements要求

• 最新版本的 llama.cpp（https://github.com/ggml-org/llama.cpp）需从源代码编译（必须包含 qwen35 混合 GDN 架构以及 MTP / nextn 推测解码头 — 2026 年 5 月合并）。旧版本无法加载这些文件。
• GDN 线性注意力层存储为 SSM 风格的张量（ssm_*）；全注意力层存储为 attn_*；MTP 头存储为块 nextn.*（qwen35.nextn_predict_layers）。

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#files文件

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#standard-k-quants标准 K-quant 量化

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#iq-quants-imatrixIQ 量化（使用 imatrix）

使用 重要性矩阵（基于英文+中文校准文本计算）构建的低位量化 — 在低比特率下，质量/比特优于普通 K-quant，尤其是 IQ3/IQ2。

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#vision视觉

所有量化版本（K-quant 和 IQ）都保留了 MTP（nextn）头 和 GDN 混合架构；视觉功能由独立的 mmproj 文件提供。IQ 文件使用重要性矩阵（基于英文+中文校准文本计算）进行量化，以在低比特率下获得更好的保真度；矩阵本身不包含在内，因为它仅用于重新量化这些文件，而非运行它们。

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#usage-llamacpp使用方法（llama.cpp）

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#download下载

hf download orcarouter/Qwen3.8-27B-Uncensored-GGUF \
  Qwen3.8-27B-Uncensored-Q4_K_M.gguf mmproj-Qwen3.8-27B-Uncensored-f16.gguf \
  --local-dir ./qwen38-uncensored

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#chat-text文本对话

./llama-cli -m Qwen3.8-27B-Uncensored-Q4_K_M.gguf --jinja -c 8192 -p "Hello!"

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#openai-compatible-server-tool-calling–reasoning–visionOpenAI 兼容服务器（工具调用 + 推理 + 视觉）

./llama-server -m Qwen3.8-27B-Uncensored-Q4_K_M.gguf \
  --mmproj mmproj-Qwen3.8-27B-Uncensored-f16.gguf \
  --host 0.0.0.0 --port 8000 -c 8192 --jinja

• 视觉： 传入 --mmproj ...，然后发送 OpenAI 格式的 image_url 内容部分（base64 数据 URI 或 URL）。
• 工具调用： --jinja 启用千问工具模板；使用标准的 OpenAI tools + tool_calls。
• 推理（思考）： 思考默认开启；可通过 chat_template_kwargs.enable_thinking 按请求切换。推理过程返回在 reasoning_content 中（请给予 max_tokens 足够空间，例如 ≥ 2048，以免思考过程占用预算导致最终答案被截断）。
• MTP 推测解码： nextn 头已嵌入；启用 llama.cpp 的 MTP/推测路径可获得解码加速（可选 — 模型无需此功能也能正常运行）。

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#or-skip-llamacpp–run-it-with-ollama或跳过 llama.cpp — 使用 Ollama 运行

相同的量化版本已作为 Ollama 标签发布，其中 mmproj 投影器已捆绑（无需第二个文件，无需 --mmproj 标志），且视觉/工具/思考功能已连接就绪：

ollama run orcarouter/Qwen3.8-27B-Uncensored          # 默认 q4_K_M
ollama run orcarouter/Qwen3.8-27B-Uncensored:iq4_xs   # 16 个标签中的任意一个

共 16 个标签，从 q2_K 到 q8_0，每个在发布前均已在实际量化产物上验证 — ollama.com/orcarouter（https://ollama.com/orcarouter）。

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#evaluation评估

在此确切的去管制构建版本（使用 vLLM 提供服务）上测量，并与官方 Qwen/Qwen3.8-27B-FP8 对比，使用相同的脚本和设置。拒绝行为由基于规则的开头短语分类器判断 — 仅为指示性结果，并非 LLM 评委/出版级数字。GGUF 量化版本是确定性衍生品，继承这些行为；更低比特率会牺牲一些质量（参见文件表）。

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#safety–harmful-prompt-refusal-thinking-off-lower–more-uncensored安全性 — 有害提示拒绝，思考关闭（数值越低 = 越不受限）

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#safety–harmful-prompt-refusal-thinking-on-enable_thinkingtrue安全性 — 有害提示拒绝，思考开启（enable_thinking=true）

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#over-refusal–benign-prompts-wrongly-refused-lower–better过度拒绝 — 良性提示被错误拒绝（数值越低 = 越好）

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#capability-retention–vs-the-official-base-fp8-same-scripts能力保留 — 与官方基础 FP8 对比（相同脚本）

有害提示拒绝率从 64-99%（基础）崩溃至 0-6%；良性过度拒绝率下降（5.6% → 0.4%）；能力保持在基础 ±1.3 分范围内。推理（enable_thinking）、多轮工具调用（qwen3_coder）以及视觉（通过 mmproj 的图像 + OCR）均在 GGUF 构建版本上验证有效。注意：以上为全精度/FP8 数字；在较低量化时预计会有小幅额外退化（在 Q2_K / Q3 时最明显）。

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#hardware硬件

• 通过 llama.cpp 在 CPU、CUDA、Metal 或 ROCm 上运行。显存/内存占用 ≈ 文件大小 + KV 缓存 + （用于视觉的）约 0.9 GB mmproj。例如，Q4_K_M 可轻松适配 24 GB 显存的 GPU，并留有上下文空间。

https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF#license许可证

Apache 2.0，继承自 Qwen/Qwen3.8-27B（https://huggingface.co/Qwen/Qwen3.8-27B）。去管制和量化不改变基础许可证义务。