DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF · Hugging Face 来源: https://huggingface.co/DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF FIREBALL:640 ARC-C 同时适用于 8bit 和 4bit。该模型在 Qwen 3.5 9B、Qwen3.5 27B、Qwen3.6 35B-A3B 的 7 项基准测试中全部超越，在某些情况下甚至达到 Qwen 3.6 27B 的水平……而且这是在 4bit 和 8bit 下实现的。提供常规和 MTP（快速）NEO IMATRIX GGUF。 ## Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF 小身材，大智慧。令人惊叹的性能。卓越的指令遵循能力。由我和 Nightmedia 在本地硬件上进行多阶段、多模型微调及多阶段融合。该模型使用了我的多个 9B Qwen 3.5 微调版本。本模型的目标是同时提升模型的通用智能和指令遵循能力。做好这两点，模型的整体性能将从上到下全面提升。请注意，尽管该模型在 7 项关键基准测试中超越了 Qwen 3.5 27B 模型，但这并不意味着它能在所有任务上都击败 27B 模型。这也是一个 HERETIC 模型，在“Heretic’ing”之后训练而成 -> 这个模型会按你的要求行事，绝不质疑。此外：思考/推理模块已被精简，且在多数情况下更强。完全未经审查。以下是基准测试结果。示例生成内容见页面底部。附言：如果你正在寻找一个在所有关键基准测试中击败 Qwen 3.6 27B、Qwen 3.5 27B 和 Qwen 35B-A3B 的 27B 模型，就是这个：https://huggingface.co/DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF 基准测试：（下方柱状图） arc/c arc/e boolq hswag obkqa piqa wino Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic [instruct] bf16 0.649,0.832,0.895,0.713,0.482,0.783,0.699 mxfp8 0.647,0.836,0.895,0.706,0.460,0.784,0.695 mxfp4 0.640,0.824,0.886,0.703,0.468,0.780,0.691 Qwen3.5-9B-Instruct: [base, non heretic] mxfp8 0.571,0.719,0.895,0.683,0.426,0.770,0.671 --- Qwen3.6-27B-Instruct: [base, non heretic] mxfp8 0.647,0.803,0.910,0.773,0.450,0.806,0.742 Qwen3.6-35B-A3B-Instruct [base, non heretic] mxfp8 0.581,0.757,0.892,0.751,0.428,0.803,0.688 Qwen3.5-27B-Instruct: [base, non heretic] mxfp8 0.557,0.711,0.868,0.533,0.452,0.706,0.695 图表说明：前三根柱状图代表 Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic。 “基准”说明： - 模型以“Instruct”模式进行测试，因为这对测试框架通常效果更好。 - 通过“思考”模式测试也能显示指标（及其变化），但无法体现真实程度。 - 实际上，当模型处于思考模式时，在大多数情况下其得分会超过 Instruct 模式的基准分数。 常规和 MTP GGUF： 所有量化版本（常规和 MTP）均为 NEO IMATRIX，相比普通 GGUF，其量化精度额外提升 2-4%，并且长上下文性能也得到改善。此外，对于所有量化版本，输出张量（约占输出的 10-20%）已修改为全精度——16 位。 “MTP” GGUF（多令牌预测）： - “MTP” GGUF 的文件名后缀中会带有“MTP”。 - 我已将所有量化版本的 MTP 张量设置为 Q8_0 精度。 - 为获得更好性能，请保持温度 ≤ 1（较高温度会降低 MTP 性能）。 - 重复惩罚同样保持为 1（关闭）。如果提高，性能会下降。 - 如果看到“令牌接受率”低于 50%（预测 2 个令牌），请切换到常规量化版本。 速度： - 在 Q4_K_S（4bit）量化下，常规 GGUF 约 130 t/s，而 MTP GGUF（接受率 60%，2 个令牌）可超过 185 T/s。（5090，Windows 11，在 LMStudio 中测试） - 速度会因 GPU、AI 应用程序、操作系统（Linux/Mac 通常更快）和硬件而异。 - “MTP” 量化版本的速度会有所不同；对于创意/复杂任务和/或温度超过 1 的情况，建议使用常规 GGUF 以获得更好性能。 建议你至少下载一个常规版和一个 MTP 版 GGUF，并根据你的使用场景进行测试。如果 MTP 量化版本的“令牌接受率”（预测 2 个令牌）低于 50%（这意味着常规量化版本运行更快），那么常规 GGUF 实际上表现更好——即速度更快。在某些情况下，随着令牌窗口填满和/或在多轮对话中，MTP 量化版本可能运行得更快。请注意，两种量化类型除了速度外没有其他区别：两者完成的任务相同。 模型： - 256k 上下文 - GGUF 量化版本可在所有标准 AI 应用程序中运行。 - 视觉功能已激活，但你需要下载单独的“mmproj”文件（一个）才能使用。 视觉功能： - 视觉（图像）功能已测试。 - 你还需要下载一个“mmproj”（仅一个），并将其放置在 GGUF 文件所在的同一文件夹中，以便处理图像。 Qwen 模型设置（建议）： - 一般任务使用思考模式：temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0 - 精确编码任务（如 WebDev）使用思考模式：temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0 - Instruct（或非思考）模式：temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0 - 上下文窗口最小值从 8k 到 16k。 — 去审查： ## https://huggingface.co/DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF#performancePerformance KLD 小于 1 为优秀，0 为完美。 指标本模型原始模型 (Qwen/Qwen3.5-9B (https://huggingface.co/Qwen/Qwen3.5-9B))KL 散度0.07930*（按定义）拒答数6/100100/100 说明： - 建议最低 Q4_K_S（非 imatrix）或 IQ3_S（imatrix）。 - 重复惩罚设置为 1（关闭）进行测试。 - 上下文：256k（默认）。 重要提示： - 其他版本正在测试中。 - 以下是来自 Qwen 仓库的信息。 - 模型的视频部分未经测试*。 — 使用“未经审查”（删除拒答）的模型 与 训练出的“未经审查”模型 通常，当你要求模型生成恐怖、脏话或成人内容时，只需提出需求即可获得相应内容类型。对于本模型，它不会拒绝你的请求，但在某些情况下需要稍微“推动”/给予更多指引。尽管本模型也能生成成人内容，同样地，你需要告诉它使用“俚语”（并包含你想要的具体词汇），才能让它正确地按预期内容级别生成内容。如果没有这些附加指示，生成的内容与“未经审查模型”或基于未经审查内容训练的模型相比，可能会显得“平淡”。大致来说，模型会尝试生成内容，但其“默认”设置过于“温和”，需要推动才能达到预期的画面冲击、脏话或露骨程度。即使只是最轻微的指示（例如，用这些词来骂人：x,y,z），也足以推动模型以……预期的格式生成请求的内容。 — 设置：本模型的聊天 / 角色扮演和/或更流畅运行： 在“KoboldCpp”或“oobabooga/text-generation-webui”或“Silly Tavern”中；将“Smoothing_factor”设置为 1.5：在 KoboldCpp 中 -> 设置->采样器->高级->“Smooth_F” : 在 text-generation-webui 中 -> 参数 -> 右下方。 : 在 Silly Tavern 中称为：“Smoothing” 注意：对于“text-generation-webui” -> 如果使用 GGUF，你需要使用“llama_HF”（这需要从本模型的 SOURCE 版本下载一些配置文件） 我的模型的源版本（及配置文件）在这里：https://huggingface.co/collections/DavidAU/d-au-source-files-for-gguf-exl2-awq-gptq-hqq-etc-etc-66b55cb8ba25f914cbf210be 其他选项： - 将重复惩罚提高到 1.1 到 1.15（如果使用“smoothing_factor”，则无需此操作） - 如果运行 AI 模型的界面/程序支持“二次采样”（“平滑”），只需按上述说明进行调整。 最高质量设置 / 最佳运行指南 / 参数和采样器 这是一个“1 类”模型：有关本模型的所有设置（包括其“类别”的特定设置）、示例生成以及高级设置指南（通常能解决任何模型问题），包括针对所有使用场景改进模型性能的方法，以及聊天、角色扮演和其他使用场景，请参见： [https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters (https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters)] 你可以在此处查看用于生成的所有参数，以及用于充分利用此模型的高级参数和采样器： [https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters (https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters)] — ## https://huggingface.co/DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF#qwen35-9bQwen3.5-9B Qwen Chat (https://chat.qwen.ai/) > 本仓库包含以 Hugging Face Transformers 格式表示的后训练模型的模型权重和配置文件。这些工件与 Hugging Face Transformers、vLLM、SGLang、KTransformers 等兼容。 在过去的几个月里，我们加大了对开发具有卓越效用和性能的基础模型的关注。Qwen3.5 代表了一次重大飞跃，它整合了多模态学习、架构效率、强化学习规模和全球可访问性方面的突破，为开发者和企业提供了前所未有的能力和效率。 ## https://huggingface.co/DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF#qwen35-highlightsQwen3.5 亮点 Qwen3.5 具有以下增强功能： - 统一的视觉-语言基础：在多模态令牌上进行的早期融合训练，实现了与 Qwen3 的跨代同等级别，并在推理、编码、智能体和视觉理解基准测试上优于 Qwen3-VL 模型。 - 高效的混合架构：门控 Delta 网络与稀疏混合专家相结合，以最小的延迟和成本开销实现高吞吐量推理。 - 可扩展的强化学习泛化：在百万智能体环境中扩展强化学习，具有逐步复杂化的任务分布，以实现稳健的真实世界适应性。 - 全球语言覆盖：扩展支持至 201 种语言和方言，实现了具有细微文化和区域理解的包容性全球部署。 - 下一代训练基础设施：与纯文本训练相比，多模态训练效率接近 100%，以及支持大规模智能体框架和环境编排的异步强化学习框架。 基准测试结果 (https://qianwen-res.oss-accelerate-overseas.aliyuncs.com/Qwen3.5/Figures/qwen3.5_small_size_score.png) 更多详细信息，请参阅我们的博客文章 Qwen3.5 (https://qwen.ai/blog?id=qwen3.5)。 ## https://huggingface.co/DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF#model-overview模型概述 - 类型：带有视觉编码器的因果语言模型 - 训练阶段：预训练 & 后训练 - 语言模型 - 参数数量：9B - 隐藏维度：4096 - 令牌嵌入：248320（填充后） - 层数：32 - 隐藏布局：8 × (3 × (门控 DeltaNet → FFN) → 1 × (门控注意力 → FFN)) - 门控 DeltaNet： - 线性注意力头数量：V 为 32，QK 为 16 - 头维度：128 - 门控注意力： - 注意力头数量：Q 为 16，KV 为 4 - 头维度：256 - 旋转位置嵌入维度：64 - 前馈网络： - 中间维度：12288 - LM 输出：248320（填充后） - MTP：通过多步训练 - 上下文长度：原生 262,144，可扩展至 1,010,000 个令牌。 ## https://huggingface.co/DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF#benchmark-results基准测试结果 ### https://huggingface.co/DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF#language语言 GPT-OSS-120BGPT-OSS-20BQwen3-Next-80B-A3B-ThinkingQwen3-30BA3B-Thinking-2507Qwen3.5-9BQwen3.5-4B知识与 STEMMMLU-Pro80.874.882.780.982.579.1MMLU-Redux91.087.892.591.491.188.8C-Eval76.271.489.787.488.285.1SuperGPQA54.648.560.856.858.252.9GPQA Diamond80.171.577.273.481.776.2指令遵循IFEval88.988.288.988.991.589.8IFBench69.065.161.551.564.559.2MultiChallenge45.340.151.346.554.549.0长上下文AA-LCR50.730.751.749.063.057.0LongBench v248.245.648.044.855.250.0推理与编码HMMT Feb 2590.076.773.763.183.274.0HMMT Nov 2590.081.881.273.882.976.8LiveCodeBench v682.774.668.766.065.655.8OJBench41.536.329.725.129.224.1通用智能体BFCL-V4––49.742.466.150.3TAU2-Bench––57.441.979.179.9VITA-Bench––29.514.129.822.0DeepPlanning––0.44.918.017.6多语言能力MMMLU78.269.781.378.481.276.1MMLU-ProX74.567.373.669.176.371.5NOVA-6351.148.753.352.555.954.3INCLUDE74.065.378.374.475.671.0Global PIQA84.179.883.580.283.278.9PolyMATH54.030.962.452.657.351.1WMT24++74.467.857.469.372.666.6MAXIFE83.780.179.977.483.478.0* TAU2-Bench：我们遵循官方设置，但航空公司领域除外，该领域所有模型的评估均应用了 Claude Opus 4.5 系统卡中提出的修复。 * MMLU-ProX：我们报告 29 种语言的平均准确率。 * WMT24++：WMT24 的一个更难的子集，经过难度标记和重新平衡；我们报告 55 种语言使用 XCOMET-XXL 的平均分数。 * MAXIFE：我们报告英文 + 多语言原始提示（共 23 个设置）的准确率。 * 空单元格（–）表示分数尚未获得或不适用。 ### https://huggingface.co/DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF#vision-language视觉语言 GPT-5-Nano-2025-08-07Gemini-2.5-Flash-LiteQwen3-VL-30B-A3BQwen3.5-9BQwen3.5-4BSTEM 与谜题MMMU75.873.476.078.477.6MMMU-Pro57.259.763.070.166.3MathVision62.252.165.778.974.6Mathvista(mini)71.572.881.985.785.1We-Math62.532.170.075.275.4DynaMath78.069.980.183.683.3ZEROBench1.01.00.03.03.0ZEROBench_sub22.219.223.731.126.3VlmsAreBlind66.768.472.593.792.6BabyVision14.417.518.628.6/25.816.0/19.1通用 VQARealWorldQA71.872.277.480.379.5MMStar68.669.175.579.778.3MMBenchEN-DEV-v1.180.382.788.990.189.4SimpleVQA46.054.154.351.243.4HallusionBench58.464.566.069.365.0文字识别与文档理解OmniDocBench1.555.979.486.887.786.2CharXiv(RQ)50.156.156.673.070.8MMLongBench-Doc31.846.547.457.754.2CC-OCR58.972.977.879.376.7AI2D_TEST81.985.786.990.289.6OCRBench75.382.583.989.285.0空间智能ERQA45.844.345.355.554.0CountBench80.079.290.097.296.3RefCOCO(avg)––89.389.788.1EmbSpatialBench74.266.180.683.081.3RefSpatialBench12.611.254.258.554.6LingoQA57.017.862.080.474.4Hypersim––11.413.512.5Nuscene––10.311.89.9视频理解VideoMME(w sub.)71.774.679.984.583.5VideoMME(w/o sub.)66.272.773.378.476.9VideoMMMU63.069.275.078.974.1MLVU69.278.578.984.482.8MVBench––72.074.471.2LVBench–60.959.270.066.4MMVU63.165.366.167.864.9视觉智能体ScreenSpot Pro––60.565.260.3OSWorld-Verified––30.641.835.6AndroidWorld––55.057.858.6工具调用TIR-Bench18.521.522.545.6/31.938.9/29.9V*68.169.683.290.1/88.584.3/86.4医疗 VQASLAKE57