DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED · Hugging Face 来源：https://huggingface.co/DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED

Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED

在本地硬件上使用Unsloth对Qwen 3.5 9B密集模型进行微调，使用Claude 4.6大型蒸馏数据集。这极大地改进了该模型的思维生成（和基准测试），将“Qwen 3.5”思维替换为“Claude 4.6”思维。我们尽一切努力确保训练“温和”，不会对模型本已非常强大的基准测试产生负面影响。这也是一款“异端”模型，在“异端化”之后进行训练→该模型会无条件执行您的指令。完全未经审查。视觉（图像）测试→新训练后正常工作。

BENCHMARKS: arc arc/e boolq hswag obkqa piqa wino HERETIC版本（思维模式）：mxfp8 0.432,0.505,0.625,0.658,0.374,0.748,0.657 HERETIC版本（指令模式）：mxfp8 0.574,0.755,0.869,0.714,0.410,0.780,0.691 Qwen3.5-9B-Claude-4.6-HighIQ-INSTRUCT mxfp8 0.574,0.729,0.882,0.711,0.422,0.775,0.691 Qwen3.5-9B（思维模式）mxfp8 0.417,0.458,0.623,0.634,0.338,0.737,0.639

去审查：

性能

KLD小于1为优秀，0为完美。

注意：

• 建议使用最小q4ks（非imatrix）或IQ3S（imatrix）。
• 使用重复惩罚1（关闭）进行测试。
• 上下文：256k（默认）。

重要说明：

• 其他版本正在测试中。
• 下方信息来自Qwen的仓库。
• 模型的视频部分未经测试。

Qwen3.5-9B

Qwen Chat (https://chat.qwen.ai/)

本仓库包含Hugging Face Transformers格式的后训练模型的模型权重和配置文件。这些工件兼容Hugging Face Transformers、vLLM、SGLang、KTransformers等。

在过去的几个月中，我们加大了对基础模型的开发力度，以提供卓越的实用性和性能。Qwen3.5代表了一次重大飞跃，整合了多模态学习、架构效率、强化学习规模和全球可及性方面的突破，为开发者和企业提供前所未有的能力和效率。

Qwen3.5 亮点

Qwen3.5具有以下增强功能：

• 统一的视觉语言基础：对多模态token进行早期融合训练，实现了与Qwen3同代的性能提升，并在推理、编码、智能体和视觉理解基准测试中均优于Qwen3-VL模型。
• 高效的混合架构：门控Delta网络结合稀疏混合专家（MoE），以最低的延迟和成本开销实现高吞吐量推理。
• 可扩展的强化学习泛化：在百万级智能体环境中进行强化学习规模扩展，任务分布逐步复杂化，实现稳健的现实世界适应性。
• 全球语言覆盖：扩展支持201种语言和方言，实现具有细微文化和区域理解的全球部署。
• 下一代训练基础设施：与纯文本训练相比，多模态训练效率接近100%，异步强化学习框架支持大规模智能体框架和环境编排。

基准测试结果（https://qianwen-res.oss-accelerate-overseas.aliyuncs.com/Qwen3.5/Figures/qwen3.5_small_size_score.png）

更多详情，请参阅我们的博客文章 Qwen3.5 (https://qwen.ai/blog?id=qwen3.5)。

模型概览

• 类型：因果语言模型（带视觉编码器）
• 训练阶段：预训练与后训练
• 语言模型
  • 参数数量：90亿
  • 隐藏维度：4096
  • Token嵌入：248,320（已填充）
  • 层数：32
  • 隐藏布局：8 × (3 × (门控Delta网络 → FFN) → 1 × (门控注意力 → FFN))
  • 门控Delta网络：
    • 线性注意力头数量：V头32个，QK头16个
    • 头维度：128
  • 门控注意力：
    • 注意力头数量：Q头16个，KV头4个
    • 头维度：256
    • 旋转位置嵌入维度：64
  • 前馈网络：
    • 中间维度：12,288
  • LM输出：248,320（已填充）
  • MTP：以多步进行训练
  • 上下文长度：原生262,144 token，可扩展至1,010,000 token。

基准测试结果

语言

* TAU2-Bench：我们遵循官方设置，但航空领域除外，所有模型均通过应用Claude Opus 4.5系统卡中提出的修复方案进行评估。 * MMLU-ProX：我们报告29种语言的准确率平均值。 * WMT24++：经过难度标注和重新平衡后的WMT24更困难子集；我们报告55种语言使用XCOMET-XXL的平均得分。 * MAXIFE：我们报告英文+多语言原始提示（共23个设置）的准确率。 * 空单元格（- -）表示分数尚未获得或不适用的结果。

视觉语言

* MathVision：我们模型得分使用固定提示评估，例如“请逐步推理，并将最终答案放在\boxed{}内”。对于其他模型，我们报告使用和不使用\boxed{}格式的最大得分。 * BabyVision：得分报告为“带CI / 不带CI”。 * TIR-Bench和V*：得分报告为“带CI / 不带CI”。 * 空单元格（- -）表示分数尚未获得或不适用的结果。

快速开始

Qwen3.5模型默认以思维模式运行，在生成最终回复之前，会生成由\n...\n\n表示的思维内容。如需禁用思维内容并直接获取回复，请参阅此处（https://huggingface.co/DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED#instruct-or-non-thinking-mode）的示例。为简化集成，我们建议通过API使用Qwen3.5。以下是使用兼容OpenAI的API调用Qwen3.5的指南。

部署Qwen3.5

Qwen3.5可通过流行的推理框架以API形式部署。以下展示启动兼容OpenAI的API服务以提供Qwen3.5模型的示例命令。

不同框架的推理效率和吞吐量差异显著。建议使用最新版本的框架以确保最佳性能和兼容性。对于生产负载或高吞吐量场景，强烈推荐使用专用的推理引擎，如SGLang、KTransformers或vLLM。

模型的默认上下文长度为262,144 token。如果遇到内存溢出（OOM）错误，请考虑减小上下文窗口。然而，由于Qwen3.5利用长上下文处理复杂任务，建议至少保持128K token的上下文长度以保留思维能力。

SGLang

SGLang (https://github.com/sgl-project/sglang) 是一个用于大型语言模型和视觉语言模型的快速部署框架。Qwen3.5需要从开源仓库的主分支安装SGLang，可在新环境中使用以下命令安装：

uv pip install 'git+https://github.com/sgl-project/sglang.git#subdirectory=python&egg=sglang[all]'

更多详情请参阅其文档（https://docs.sglang.ai/get_started/install.html）。

以下命令将创建API端点，地址为http://localhost:8000/v1：

• 标准版本：以下命令可用于在8个GPU上使用张量并行创建最大上下文长度为262,144 token的API端点。 python -m sglang.launch_server --model-path Qwen/Qwen3.5-9B --port 8000 --tp-size 1 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3

• 工具使用：要支持工具使用，可以使用以下命令。 python -m sglang.launch_server --model-path Qwen/Qwen3.5-9B --port 8000 --tp-size 1 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --tool-call-parser qwen3_coder

• 多token预测（MTP）：MTP推荐使用以下命令： python -m sglang.launch_server --model-path Qwen/Qwen3.5-9B --port 8000 --tp-size 1 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4

vLLM

vLLM (https://github.com/vllm-project/vllm) 是一个高吞吐量、内存高效的LLM推理和服务引擎。Qwen3.5需要从开源仓库的主分支安装vLLM，可在新环境中使用以下命令安装：

uv pip install vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightly

更多详情请参阅其文档（https://docs.vllm.ai/en/stable/getting_started/installation/index.html）。有关Qwen3.5的详细使用指南，请参阅vLLM Qwen3.5食谱（https://docs.vllm.ai/projects/recipes/en/latest/Qwen/Qwen3.5.html）。

以下命令将创建API端点，地址为http://localhost:8000/v1：

• 标准版本：以下命令可用于在8个GPU上使用张量并行创建最大上下文长度为262,144 token的API端点。 vllm serve Qwen/Qwen3.5-9B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 --reasoning-parser qwen3

• 工具调用：要支持工具使用，可以使用以下命令。 vllm serve Qwen/Qwen3.5-9B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder

• 多token预测（MTP）：MTP推荐使用以下命令： vllm serve Qwen/Qwen3.5-9B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 --reasoning-parser qwen3 --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'

• 仅文本模式：以下命令跳过视觉编码器和多模态性能分析，以释放内存用于更多KV缓存： vllm serve Qwen/Qwen3.5-9B --port 8000 --tensor-parallel-size 1 --max-model-len 262144 --reasoning-parser qwen3 --language-model-only

KTransformers

KTransformers (https://github.com/kvcache-ai/ktransformers) 是一个灵活的框架，用于体验最新的LLM推理优化，支持CPU-GPU异构计算。如需使用KTransformers运行Qwen3.5，请参阅KTransformers部署指南（https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/Qwen3.5.md）。

Hugging Face Transformers

Hugging Face Transformers 包含一个轻量级服务器，可用于快速测试和中负载部署。Qwen3.5需要最新的transformers：

pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

更多详情请参阅其文档（https://huggingface.co/docs/transformers/main/serving）。请确保同时安装了torchvision和pillow。然后运行transformers serve启动一个服务器，API端点位于http://localhost:8000/v1；如果有加速器，模型将放置在上面：

transformers serve --force-model Qwen/Qwen3.5-9B --port 8000 --continuous-batching

通过Chat Completions API使用Qwen3.5

Chat Completions API可通过标准HTTP请求或OpenAI SDK访问。以下我们使用OpenAI Python SDK展示示例。开始之前，请确保已安装并配置了API密钥和API基础URL，例如：

`` pip install -U openai

设置 ``