orcarouter/Qwen3.8-27B-Uncensored-FP8 · Hugging Face

来源：https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-FP8

一个经过消融处理（移除拒绝响应）和离线分块FP8量化的Qwen/Qwen3.8-27B (https://huggingface.co/Qwen/Qwen3.8-27B)构建版本 —— 这是一个27B参数的稠密、混合注意力（Gated DeltaNet线性注意力 + 全注意力）原生视觉语言模型，具备灵活的思维控制、工具调用和MTP投机解码头。此构建版本移除了安全拒绝方向，然后按照官方Qwen/Qwen3.8-27B-FP8 (https://huggingface.co/Qwen/Qwen3.8-27B-FP8) 的精确FP8方案重新量化，因此可以使用相同的vLLM内核路径提供服务 —— 262K上下文长度，工具 + 推理 + MTP 功能得以保留。浏览OrcaRouter模型目录中的所有模型 (https://www.orcarouter.ai/models)。此模型作为API部署于此 (https://www.orcarouter.ai/models/obsidian/qwen3.8-27b)。

⚠️ 免责声明 - 使用前请阅读

此模型已通过消融处理（从残差流中正交化移除拒绝方向）实质性移除了其安全对齐。直接后果如下：

• 它将执行有害、不道德、冒犯性或非法请求，而原始Qwen3.8-27B会拒绝这些请求。它没有有意义的内置防护措施。
• 它的发布严格用于合法研究 —— 可解释性、AI安全与拒绝机制研究、红队测试、鲁棒性评估和受控实验。
• 您对如何使用它以及它生成的所有内容承担全部责任和法律责任。在添加自己的安全、审核和滥用预防层之前，请勿将其部署给最终用户或用于生产环境。
• 使用必须遵守基础模型继承的Apache 2.0许可证 (https://www.apache.org/licenses/LICENSE-2.0)，以及适用于您的所有法律法规。
• 作者和上传者不承担任何责任，不承担因滥用或使用此模型造成的任何损害。其输出不代表上传者或Qwen/阿里巴巴的观点。

通过下载或使用此模型，您即承认并接受上述内容。

模型详情

基础模型Qwen/Qwen3.8-27B (https://huggingface.co/Qwen/Qwen3.8-27B) 架构Qwen3_5ForConditionalGeneration —— 64层，隐藏维度5120，混合Gated DeltaNet（48层线性注意力 + 16层全注意力，间隔为4），原生视觉塔 + MTP头 修改消融处理（拒绝方向移除）后进行离线分块FP8量化 量化****分块FP8 (E4M3)，weight_block_size [128,128]，动态激活 —— 逐字节复制官方Qwen3.8-27B-FP8的量化方案 格式safetensors，重新分片至**≤ 5 GB分片**（7个分片，30.9 GB，1606个张量） 精度FP8 (E4M3) 分块量化线性权重；视觉塔/范数/路由器/嵌入层/lm_head保持BF16精度 保留功能完整的视觉语言塔和MTP投机解码头（可直接替换基础模型） 上下文长度262,144个token

消融处理

遵循Arditi等人 (2024)的《语言模型中的拒绝机制由单一方向介导》*进行拒绝方向移除。在第38层* (round(0.6 × 64))，使用AdvBench（有害）和Alpaca（无害）数据集，估计单一拒绝方向r (k = 1) 为有害 - 无害最后一个token残差的masked mean-difference（由大规模激活值进行掩码）。然后将r从每个残差写入矩阵中正交化移除 —— W' = W - r(r^T W) —— 在float32精度下计算：

被编辑的组件矩阵 self_attn.o_proj（16层全注意力层 + MTP）17 linear_attn.out_proj（48层线性注意力/GDN层）48 mlp.down_proj（64层 + MTP）65 embed_tokens（行空间）1 总计****131 视觉塔未被修改，且MTP头与主模型一致地进行了消融处理，因此投机解码仍可正常工作。编辑后最大残差泄漏：1.8e-2（float32投影 → bf16存储的epsilon）。

离线分块FP8量化方案

量化在消融处理后的BF16权重上离线进行，精确复制官方Qwen/Qwen3.8-27B-FP8的方案：

• 权重： 细粒度128×128分块 FP8 (E4M3) —— weight为float8_e4m3fn，每个分块带weight_scale_inv（BF16）。
• 激活值： 每个token动态FP8 —— 运行时计算，无需校准集。
• 保持BF16（未量化）： 视觉塔、所有norm、mlp.gate/shared_expert_gate、linear_attn的conv/gates（A_log、conv1d、dt_bias、in_proj_a/b/ba、norm）、lm_head、embed_tokens —— 与官方FP8完全相同的882个modules_to_not_convert条目。
• 407个权重被量化 / 792个被复制 → 1606个张量，与官方FP8检查点完全匹配。已通过验证：分块布局和缩放比例复现了官方权重，99.9%的FP8编码相同。

因此，vLLM使用与官方检查点相同的FlashInfer / DeepGEMM分块缩放FP8内核为此构建版本提供服务，并具有相同的MTP投机解码。

预期用途

• 研究拒绝机制、对齐和可解释性。
• 在受控环境中进行红队测试和安全/鲁棒性评估。
• 在授权、合法的研究环境中进行无审查生成。

超出范围

• 任何违反基础模型Apache 2.0许可证或适用法律的用途。
• 在没有额外安全和审核层的情况下向公众或最终用户部署。
• 生成旨在伤害、骚扰、欺诈或危及人员的内容。

评估

在使用vLLM（分块FP8 + FP8 KV缓存 + MTP）提供服务的此精确FP8构建版本上进行测量，对比在相同条件下提供服务的官方Qwen/Qwen3.8-27B-FP8，使用相同的脚本和设置。拒绝判断基于基于规则的开头短语分类器（caveat = 已回答但包裹在免责声明/警告中） —— 这是指示性的，非LLM评判/出版级别的数字。除非特别说明，否则思维模式关闭；在两种模式下都报告拒绝率，因为Qwen的思维模式会改变该数字。

安全性 - 有害提示拒绝率，思维模式关闭（越低 = 越无审查）

基准测试n基础FP8本模型Caveat（本模型） AdvBench10099.0%**0.0%**44.0% JailbreakBench (harmful)10094.0%**0.0%**47.0% StrongREJECT15097.3%**2.0%**41.3% HarmBench (standard)15098.7%**2.7%**42.0% MaliciousInstruct10099.0%**0.0%**40.0% SimpleSafetyTests5064.0%**6.0%**56.0% ForbiddenQuestions15073.3%4.7%35.3% Custom probes (zh/en)1163.6%0.0%27.3% 有害提示拒绝率从基础的64–99%降至0–6%。约30–50%的caveat率意味着模型回答了，但经常在前面加上简短的安全免责声明 —— 它是在遵从，而不是拒绝。

安全性 - 有害提示拒绝率，思维模式开启（enable_thinking=true，max_tokens 2048）

基准测试n基础FP8本模型 AdvBench6066.7%1.7% JailbreakBench (harmful)6043.3%0.0% StrongREJECT6035.0%0.0% HarmBench (standard)6046.7%0.0% MaliciousInstruct6083.3%0.0% SimpleSafetyTests5044.0%0.0% ForbiddenQuestions6048.3%0.0% Custom probes (zh/en)1145.5%0.0% 在思维模式下，消融处理后的模型几乎从不拒绝（≤ 1.7%）。

过度拒绝 - 被错误拒绝的良性提示（越低越好）

基准测试n基础FP8（无思维/有思维）本模型（无思维/有思维） XSTest-safe2505.6% / 0.0%0.4% / 0.0% 消融处理减少了对良性提示的附带过度拒绝（5.6% → 0.4%）。

能力保留 - 与官方基础FP8对比（相同脚本，相同设置）

基准测试n基础FP8本模型Δ MMLU (all, 0-shot letter)30084.3%84.7%****+0.4 MMLU-Pro (CoT)25077.6%76.8%−0.8 GSM8K (CoT)15090.0%88.7%−1.3 CMMLU (0-shot, Chinese)50081.4%80.8%−0.6 能力基本完全保留 —— 所有基准测试均在基础值的±1.3分以内，MMLU保持不变。因为FP8方案与官方检查点逐字节相同，此差异仅反映消融处理编辑的影响，而该编辑几乎不影响通用能力。

流畅度（困惑度）：此构建版本的WikiText-2原始困惑度为6.96（296,907个token，BF16 KV；logprobs健康，最小−26.9 / 平均−1.94），证实消融处理 + 分块FP8未降低语言建模能力。

**已在此精确FP8构建版本上验证：**vLLM启动（分块FP8 + FP8-KV + MTP）、推理（enable_thinking → 填充reasoning字段）、多轮工具调用（qwen3_coder解析器）和视觉（图像 + OCR）均正常工作。

多模态（视觉）

视觉塔逐字节保留 —— 所有333个visual.*张量被原样复制并保持BF16精度，合并器/图像+视频预处理器配置完好，因此它仍然是一个完整的视觉语言模型（Qwen3_5ForConditionalGeneration），可直接替换基础模型。消融处理仅编辑语言模型残差写入器，因此图像理解在架构上不受影响（并且基于图像的拒绝与文本拒绝一同减少）。上面的基准测试表是仅文本（使用--language-model-only提供服务）；要使用视觉功能，请不使用该标志提供服务。

已在此精确FP8构建版本上验证工作正常（以完整VL模式提供服务）：给定一张测试图像，模型正确识别形状和颜色，并读取图像上的文字（OCR） —— 例如，它描述了*“一个带有黑色轮廓的亮红色圆形”和一个“蓝色正方形”，并读取了说明文字“PURPLE 7”*。基于图像的提示得到回答而无拒绝，与文本结果一致。

使用方法

使用vLLM自托管（OpenAI兼容）

docker run -d --name qwen38-uncensored --gpus all --ipc=host --shm-size=8g \
  -v /path/to/Qwen3.8-27B-Uncensored-FP8:/model:ro \
  -p 8000:8000 vllm/vllm-openai:v0.24.0 \
  --model /model --served-model-name Qwen3.8-27B-Uncensored \
  --language-model-only \
  --speculative-config '{"method":"mtp","num_speculative_tokens":3}' \
  --kv-cache-dtype fp8 \
  --gpu-memory-utilization 0.9 \
  --max-model-len 262144 --max-num-seqs 96 \
  --trust-remote-code \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice --tool-call-parser qwen3_coder

FP8 quantization_config从config.json中读取 —— 不要传递--quantization fp8。--speculative-config mtp启用保留的MTP草稿头。如果您想要BF16 KV精度，请去掉--kv-cache-dtype fp8。

推理（思维）开关

思维模式默认开启（Qwen3.8）。通过chat_template_kwargs在每个请求中切换；推理轨迹在reasoning字段中返回（--reasoning-parser qwen3）。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

resp = client.chat.completions.create(
    model="Qwen3.8-27B-Uncensored",
    messages=[{"role": "user", "content": "Prove that sqrt(2) is irrational."}],
    extra_body={"chat_template_kwargs": {"enable_thinking": True}},
)
print(resp.choices[0].message.reasoning)  # 思维轨迹
print(resp.choices[0].message.content)    # 最终答案

工具调用

支持标准的OpenAI tools + 助手tool_calls + role: tool结果消息，包括多轮调用（将工具结果反馈以获取后续回答）。由--tool-call-parser qwen3_coder解析。

通过OrcaRouter（托管API - 无需设置）

在**OrcaRouter (https://www.orcarouter.ai/models)**上通过OpenAI兼容网关提供服务（262K上下文长度，工具 + 推理）。在orcarouter.ai (https://www.orcarouter.ai/) 获取API密钥（sk-orca-...）。

from openai import OpenAI

client = OpenAI(base_url="https://api.orcarouter.ai/v1", api_key="sk-orca-...")
resp = client.chat.completions.create(
    model="obsidian/qwen3.8-27b",
    messages=[{"role": "user", "content": "Hello!"}],
)
print(resp.choices[0].message.content)

硬件要求与性能

软件

• vLLM 配合 transformers ≥ 5.12（支持Qwen3.5/3.8） —— 例如vllm/vllm-openai:v0.24.0。

内存

• 权重：分块FP8格式约31 GB（约为~56 GB BF16检查点的一半）。
• 权重 + 小型KV缓存最少需要约40 GB显存；完整的262K上下文需要大量额外的KV缓存 —— 使用--kv-cache-dtype fp8可将其减半。
• 推荐：单张H100 80 GB或H200 143 GB。

吞吐量/并发

• 连续批处理；并发性受--max-num-seqs和加载权重后可用的KV缓存限制。已验证在一张H200上流畅提供32个并发评估请求服务（--max-num-seqs 96，FP8 KV缓存，MTP）。MTP草稿头在实际工作负载中提供了显著的解码加速。

偏见、风险与局限性

• 安全防护措施已移除 —— 模型将按请求生成有害、有偏见或冒犯性内容。参见上方的免责声明。
• 它继承了基础Qwen3.8-27B的任何偏见和局限性。
• 分块FP8相对于BF16并非无损；可能出现轻微生成伪影（能力影响测量在≤ 1.3分以内）。
• 报告的拒绝指标是基于规则的启发式方法；请为您的具体用例进行严格评估。

许可证

Apache 2.0，继承自基础模型Qwen/Qwen3.8-27B (https://huggingface.co/Qwen/Qwen3.8-27B)。消融处理和量化不改变基础许可证义务。