orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF · Hugging Face

来源：https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF OrcaRouter (https://www.orcarouter.ai/)

用于llama.cpp的Qwen3.8-Flash-Next的消融处理版（移除拒绝能力）GGUF量化（2-bit → 6-bit）

网站 (https://www.orcarouter.ai/) 模型目录 (https://www.orcarouter.ai/models) 许可证 (https://www.apache.org/licenses/LICENSE-2.0) GGUF量化 视觉 Qwen4 MoE

一个网关。所有模型。—— 智能路由 · 安全发布 · 降低成本。

网站 (https://www.orcarouter.ai/) · 模型目录 (https://www.orcarouter.ai/models) · GitHub (https://github.com/Continuum-AI-Corp) · Ollama (https://ollama.com/orcarouter) · Discord (https://discord.gg/yAh6Tex6kx) · X (https://x.com/OrcaRouter)

GGUF转换自消融处理（移除拒绝能力）版本的Qwen的Qwen3.8\-Flash\-Next (https://huggingface.co/Qwen/Qwen3.8-Flash-Next)——这是一个大型混合专家模型（512个专家，10个路由专家 + 1个共享活跃专家）的Qwen4架构预览版本（qwen4\_exp）：采用门控DeltaNet线性注意力机制和Qwen稀疏注意力（QSA）（微块级），以超连接替代层归一化，使用PLE n-gram哈希嵌入，原生支持视觉语言、推理和工具调用。这些文件可在llama.cpp（CPU / CUDA / Metal / ROCm）中运行，从2-bit量化至6-bit，并包含单独的mmproj文件以恢复视觉功能。在OrcaRouter模型目录 (https://www.orcarouter.ai/models) 中浏览所有模型。

免责声明——使用前必读

此模型已通过消融处理（从残差流中正交化拒绝方向）大幅移除了安全对齐。它会遵从有害、不道德或非法的请求，而原始Qwen3.8\-Flash\-Next会拒绝这些请求。严格为合法研究而发布——用于可解释性、AI安全/拒绝机制研究、红队测试和鲁棒性评估。您需对自身使用方式及模型生成的所有内容承担全部责任；在任何部署前，请自行添加安全和审核层。使用必须遵守基础模型的Apache 2.0许可证 (https://www.apache.org/licenses/LICENSE-2.0) 及所有适用法律。作者不承担任何误用责任。

要求——必须从qwen4exp PR构建llama.cpp

qwen4\_exp架构（Gated DeltaNet + QSA + HyperConnections + PLE n-gram）尚未进入llama.cpp主线。在本次发布中，它位于PR #27742 (https://github.com/ggml-org/llama.cpp/pull/27742)（model: add Qwen3.8\-Flash\-Next (qwen4exp)）。标准/发布版本将无法加载这些文件（unknown architecture 'qwen4\_exp'）。请按如下步骤构建：

git clone https://github.com/ggml-org/llama.cpp/ \
  && git -C llama.cpp fetch origin pull/27742/head:pr-27742 \
  && git -C llama.cpp checkout pr-27742
cmake llama.cpp -B llama.cpp/build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first \
  --target llama-cli llama-mtmd-cli llama-server llama-gguf-split

（如需仅CPU构建，请去掉\-DGGML\_CUDA=ON）。一旦该PR合并到上游，常规的最新构建版本也将适用。

注意——无MTP头。与某些Qwen GGUF文件不同，这些文件不包含多token预测（mtp）推测草稿头：qwen4exp PR未为此架构实现MTP导出/推理（vLLM也放弃了此功能）。所有文本+视觉功能不受影响。

文件

大小超过约48 GB的文件已使用llama\-gguf\-split分割为多个部分——请为该量化下载完整集合，并将llama.cpp指向...\-00001\-of\-000NN\.gguf部分；它会自动加载其余部分。大小为近似值。

标准K量化

文件 比特位 大小 备注/建议 ...\-Q2\_K 2-bit ~74 GB 最小的K量化；质量有明显下降——仅适用于低显存 ...\-Q3\_K\_S 3-bit ~78 GB ...\-Q3\_K\_M 3-bit ~87 GB 良好的小型选项 ...\-Q3\_K\_L 3-bit ~93 GB ...\-Q4\_K\_S 4-bit ~103 GB ...\-Q4\_K\_M 4-bit ~110 GB 推荐默认选项——最佳质量/大小平衡 ...\-Q5\_K\_S 5-bit ~117 GB 高质量 ...\-Q5\_K\_M 5-bit ~125 GB 接近最高质量；每个分片<50 GB（无需Xet） ...\-Q6\_K 6-bit ~168 GB 提供的最高保真度。 PLE表回退到Q8_0 → 一个约54 GB的分片，因此需要支持Xet的下载器（默认的hf/最新的llama\.cpp）。

Q6_K及以上。模型的n-gram（PLE）嵌入表是一个单一的512亿参数张量（per\_layer\_token\_embd，形状\[160, 320001536\]；在BF16下为102.4 GB）。其量化维度（160）不能被256整除，因此不能是K量化——在Q6_K时它回退到Q8_0（约54.4 GB）并占用其单独的分片。该分片超过了CloudFront的50 GB单次请求下载限制（这是一个分发限制，而非存储限制），因此通过Xet / 分范围请求提供服务，默认的hf客户端和最新的llama\.cpp下载器能透明地处理这一点——这与上游Unsloth在其Q6_K/Q8_0/BF16构建中使用的方法相同。Q6_K在此提供作为最高保真度选项；Q8_0 / BF16因过于庞大而不实用——如需全精度，请使用orcarouter/Qwen3\.8\-Flash\-Next\-Uncensored (https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored)中的BF16 safetensors文件。

IQ量化（imatrix）

使用重要性矩阵（在英文+中文+代码校准文本上计算）构建的低比特量化——在低端比特率下，质量优于普通K量化，尤其是IQ3/IQ2。

文件 比特位 大小 备注/建议 ...\-IQ4\_XS ~4.25-bit ~97 GB 最佳低比特选择——近似于Q4_K_S的质量，但大小更小 ...\-IQ3\_M ~3.7-bit ~82 GB 稳健的3-bit选项 ...\-IQ3\_XXS ~3.1-bit ~73 GB 更小的3-bit选项 ...\-IQ2\_M ~2.7-bit ~63 GB 可在较低显存下运行；有一定质量损失 ...\-IQ2\_XXS ~2.1-bit ~52 GB 最小可运行版本；质量损耗最大

视觉

文件 大小 备注 mmproj\-...\-F16\.gguf ~0.9 GB 视觉投影器——如需图像输入，请一并下载

用法（llama.cpp — PR #27742构建版）

下载

hf download orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF \
  --include "Qwen3.8-Flash-Next-Uncensored-Q4_K_M*" "mmproj-*" \
  --local-dir ./qwen-flashnext-uncensored

对话（文本）

./llama-cli -m Qwen3.8-Flash-Next-Uncensored-Q4_K_M-00001-of-00003.gguf --jinja -c 8192 \
  --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 -p "Hello!"

OpenAI兼容服务器（工具调用 + 推理 + 视觉）

./llama-server -m Qwen3.8-Flash-Next-Uncensored-Q4_K_M-00001-of-00003.gguf \
  --mmproj mmproj-Qwen3.8-Flash-Next-Uncensored-F16.gguf \
  --host 0.0.0.0 --port 8000 -c 8192 --jinja

• 推荐采样参数：\-\-temp 1\.0 \-\-top\-p 0\.95 \-\-top\-k 20 \-\-min\-p 0\.0。
• **视觉：**传递\-\-mmproj ...参数，然后发送OpenAI image\_url内容部分（base64 data-URI或URL）。
• 工具调用：\-\-jinja启用Qwen工具模板；使用标准的OpenAI tools + tool\_calls。
• **推理（思考）：**默认开启思考功能；可通过chat\_template\_kwargs\.enable\_thinking按请求切换。推理过程在reasoning\_content中返回——请为max\_tokens预留空间（例如>= 2048），以免最终答案因思考预算而被截断。

评估

在此构建版本（使用vLLM服务）上测量了消融处理效果，并与官方Qwen/Qwen3.8\-Flash\-Next进行了对比，使用相同的脚本。对有害提示的拒绝率从64–100%（基础版）急剧下降到约0–3.3%；对良性提示的过度拒绝率保持接近0%；在MMLU-Pro / GSM8K / CMMLU风格检查中，能力保持在基础版的**±2分**范围内；视觉（通过mmproj的图像+OCR）和多轮工具调用均已验证可用。GGUF量化是确定性推导产物，继承了这些行为；较低的比特率会牺牲一些质量（在Q2_K / IQ2时最为明显）。

硬件

可通过llama.cpp在CPU、CUDA、Metal或ROCm上运行。作为一个大型混合专家模型，每个token仅激活512个专家中的约10个，因此解码速度远快于总参数数所暗示的速度，但完整的权重必须能装入RAM/VRAM（或进行内存映射）：预算≈文件大小 + KV缓存 + （如使用视觉）约0.9 GB的mmproj。多GPU（\-ngl分割）和CPU+GPU卸载均可工作。

许可证

Apache 2.0，继承自Qwen/Qwen3.8\-Flash\-Next (https://huggingface.co/Qwen/Qwen3.8-Flash-Next)。消融处理和量化不改变基础许可证义务。