@BrianRoemmele: 轰！看看这场开源领域对Anthropic的寒武纪大爆发式反击！来看看Qwythos 9B，一个基于Qwen3.5的GGUF，它…

轰！欢迎来到拒绝Anthropic的开源寒武纪大爆发！认识 Qwythos 9B，一个基于 Qwen3.5 的 GGUF 模型，它不仅无审查，还量化以提高效率。我现在正在运行它，效果惊人！这是一个能够推理百万 token 上下文、理解图像和文本、甚至能调用函数的模型。快来试试吧！— # empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face 来源: https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF Qwythos-9B ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#%F0%9F%9A%A8-v3-released–please-redownload-the-ggufs🚨 v3 已发布 — 请重新下载 GGUFs 聊天模板的热修复。如果您在 v3 之前下载了此仓库，请重新下载您的 GGUF。v3 修复内容： - 嵌入式聊天模板已更新，保留了推理和自适应思维； - 修复了长生成轨迹中的循环问题； - 修复了在 OpenCode、Abacus、Hermes 和 Claude Code 等框架中的代理使用问题； ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#qwythos-9b-claude-mythos-5-1m-ggufQwythos-9B-Claude-Mythos-5-1M-GGUF 由 Empero (https://empero.org/) 开发 empero-ai/Qwythos-9B-Claude-Mythos-5-1M (https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M) 的 GGUF 量化版本，适用于 llama.cpp (https://github.com/ggml-org/llama.cpp)、Ollama、LM Studio、jan、KoboldCpp 及其他 GGUF 运行时。 Qwythos-9B 是一个全参数推理模型，在超过 5 亿 token 的高质量 Claude Mythos / Claude Fable 轨迹上进行了后训练，并带有 Empero AI 内部工具 rethink 生成的思维链。在匹配评估中，它明显优于基础 Qwen3.5-9B（MMLU +34 分，gsm8k-strict +30 分，gsm8k-flex +19 分），支持符合 Qwen3.5 规范的原生函数调用，并默认启用了 YaRN 绳缩放，提供 1,048,576 token（1M）上下文窗口。有关训练详情、评估数值和功能说明，请参阅基础模型卡 (https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M)。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#files文件 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#normal-text-weights–fixed-v3-replacements标准文本权重 — 已修复的 v3 替代品 文件量化大小说明Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.ggufQ4_K_M5.24 GiB / 5.63 GB推荐默认— 已修复 v3，最佳兼容性Qwythos-9B-Claude-Mythos-5-1M-Q5_K_M.ggufQ5_K_M6.02 GiB / 6.47 GB已修复 v3，平衡质量/大小Qwythos-9B-Claude-Mythos-5-1M-Q6_K.ggufQ6_K6.85 GiB / 7.36 GB已修复 v3，高质量Qwythos-9B-Claude-Mythos-5-1M-Q8_0.ggufQ8_08.87 GiB / 9.53 GB已修复 v3，接近无损Qwythos-9B-Claude-Mythos-5-1M-BF16.ggufBF1616.69 GiB / 17.92 GB已修复 v3，全精度转换基础 如果您不知道该选哪个，Q4_K_M 是合适的起点—— 它是实用量化中最小且质量保留良好的版本。 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#mtp-enabled-text-weights–fixed-v3-variants支持 MTP 的文本权重 — 已修复的 v3 变体 这些包含恢复的 Qwen3.5 兼容 MTP 头部（在 GGUF 内部）。将它们与支持 MTP 草稿推测的 llama.cpp 构建一起使用，例如 --spec-type draft-mtp。 文件量化大小说明Qwythos-9B-Claude-Mythos-5-1M-MTP-Q4_K_M.ggufQ4_K_M + MTP5.48 GiB / 5.89 GB推荐 MTP 默认Qwythos-9B-Claude-Mythos-5-1M-MTP-Q5_K_M.ggufQ5_K_M + MTP6.26 GiB / 6.73 GBMTP，平衡质量/大小Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggufQ6_K + MTP7.09 GiB / 7.62 GBMTP，高质量Qwythos-9B-Claude-Mythos-5-1M-MTP-Q8_0.ggufQ8_0 + MTP9.11 GiB / 9.79 GBMTP，接近无损Qwythos-9B-Claude-Mythos-5-1M-MTP-BF16.ggufBF16 + MTP17.14 GiB / 18.41 GBMTP，全精度转换基础 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#vision-projector–for-image-input视觉投影仪 — 用于图像输入 文件大小说明mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf0.86 GiB / 0.92 GBCLIP 风格视觉编码器 + 投影仪；图像输入需要，与上述任何标准或 MTP 量化配对使用 Qwythos 继承了来自基础模型 Qwen3.5-9B 的视觉塔—— 视觉路径在 SFT 期间是冻结的（训练仅限文本），因此视觉行为与基础 Qwen3.5-9B 的多模态能力相同。mmproj 可与任何社区构建的 Qwen3.5-9B mmproj-*.gguf 互换。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#quick-start快速启动 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#llamacpp-llama-clillama.cpp (llama-cli) llama-cli \ -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \ -p "详细解释有机磷酸酯神经毒剂如何抑制乙酰胆碱酯酶的生物化学机制。" \ -n 8192 \ --temp 0.6 --top-p 0.95 --top-k 20 --repeat-penalty 1.05 \ -c 16384 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#ollamaOllama ollama run hf.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF:Q4_K_M ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#lm-studio–jan–koboldcppLM Studio / jan / KoboldCpp 将任意 .gguf 文件放入您运行时的模型目录中。Qwythos 使用标准的 Qwen3.5 聊天模板；现代的 GGUF 运行时会自动从文件中加载。 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#llamacpp-with-mtp-draft-speculationllama.cpp 与 MTP 草稿推测 llama-server \ -m Qwythos-9B-Claude-Mythos-5-1M-MTP-Q4_K_M.gguf \ --spec-type draft-mtp \ --spec-draft-n-max 6 \ -c 16384 --port 8080 MTP 支持需要较新的 llama.cpp 构建。如果您的运行时尚不支持 MTP，请使用上述标准的已修复 v3 文件。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#vision-image-input视觉（图像输入） Qwythos 开箱即用支持图像输入。从本仓库下载一个文本量化和 mmproj-*.gguf 文件，然后使用 llama.cpp 的多模态 CLI 或服务器运行。 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#llamacpp-llama-mtmd-clillama.cpp (llama-mtmd-cli) llama-mtmd-cli \ -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \ --mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf \ --image ./photo.jpg \ -p "详细描述这张图片。" \ --temp 0.6 --top-p 0.95 --top-k 20 \ -c 16384 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#llamacpp-server-openai-compatible-api-with-imagesllama.cpp 服务器（兼容 OpenAI 的 API，支持图像） llama-server \ -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \ --mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf \ -c 16384 --port 8080 然后向 /v1/chat/completions 发送 POST 请求，附带图像 URL 或 base64 负载 — 标准的 OpenAI 视觉 API 格式即可。 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#lm-studioLM Studio 加载文本量化；LM Studio 会自动检测同一文件夹中匹配的 mmproj-*.gguf 并启用图像附件按钮。 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#what-vision-unlocks视觉解锁的功能 由于 Qwythos 的视觉塔与基础 Qwen3.5-9B 的相同，因此具备 Qwen3.5-9B 文档中的视觉能力：详细图像描述、OCR（印刷体+手写体）、图表/表格阅读、UI/文档理解、基础空间推理。 诚实的说明： 用于生成 Qwythos 的 SFT 是纯文本的 —— 我们没有微调视觉塔，也没有在任何图像配对数据上进行训练。因此，基于图像的推理继承了基础模型的行为；它未作为本次发布的一部分进行独立评估。如果您的应用主要由视觉驱动，请先在自己的用例上验证。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#sampling-recommendations采样建议 Qwythos 是一个推理模型 —— 每个响应都会先输出一个 ... 块，然后输出最终答案。使用以下默认设置： 参数值temperature0.6top_p0.95top_k20repeat_penalty1.05max_new_tokens16384（用于 ... + 答案的充足预算） 这与 Qwen3.5 官方思考模式建议一致。避免贪婪解码和极低温度采样（T ≤ 0.3）—— 两者都可能导致长推理生成时的重复循环。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#long-context-1m-tokens长上下文（1M token） GGUFs 内置了 YaRN 绳缩放，支持 1,048,576 token 上下文窗口（相对于原生 262k 的 4 倍扩展）。要在 llama-cli 中使用完整的 1M 窗口，设置 -c 1010000（或任何不超过该值的上下文长度）。对于较短的提示，降低 -c 以减少 KV 缓存内存 — 在默认设置下，llama.cpp 会自动调整大小。单个 H100/H200 级 GPU 可舒适处理 256k–512k；完整的 1M 通常需要张量并行多 GPU 或激进的 KV 缓存卸载。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#capabilities-from-the-base-model-card能力（来自基础模型卡） - MMLU +34 分，gsm8k-strict +30 分，gsm8k-flex +19 分，相对于基础 Qwen3.5-9B（在匹配的 lm-eval-harness 评估下） - 原生函数调用，符合 Qwen3.5 的聊天模板规范 — 输出 VAL 块，可供任何工具使用循环使用 - 带工具的自我修正：在一个 7 提示的工具使用框架（Python 执行器 + DuckDuckGo 搜索）中，Qwythos 在 7/7 个任务上生成了带来源引用的正确答案，包括原始审查中的 4/4 个闭卷失败模式 - 无审查 — 认真对待网络安全、红队、生物学、药理学和临床医学等领域的具有技术难度的问题 - 1,048,576 token（1M）上下文 — 默认启用 YaRN 绳缩放 有关完整的评估记录和每任务数据，请参阅基础模型卡的 evals/ 文件夹 (https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M/tree/main/evals)。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#limitations限制 - 推理模型。 每个答案都以 ... 块开头；请留出充足的 max_new_tokens 并为最终用户解析/去除 ...。 - 使用推荐的采样。 贪婪/极低温可能导致重复循环。 - 在安全关键环境中验证具体情况。 与所有同级权重的闭卷 LLM 一样，Qwythos 可能会对自己不确定的特定标识符（CVE、hashcat 模式、药物位置）过度自信。在此类部署中，请结合检索或函数调用使用 —— 该模型在提供工具时能干净地使用它们。 - 无审查 — 请自行添加应用级别的审查/安全层，用于面向最终用户的部署（如需要）。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#stay-in-the-loop保持关注 在 empero.org (https://empero.org/) 注册 Empero 新闻通讯，获取发布、评估和研究笔记。 ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#support–donate支持 / 捐赠 如果此模型对您有帮助，请考虑支持该项目： - BTC: bc1qx6zepu6sfkvshgdmc4ewu6pk6rpadvpgffpp7v - LTC: ltc1qv2mefzps2vtjcpwfx8xxdrpplrcvltswm68r7x - XMR: 42Dbm5xg5Nq26fdyzfEU7KBnAJfhi7Cvz5J2ex5CzHXkfKuNEJzYCcmJ1GTbgjFZ5MBx72sdG1G9239Cd6rsZfv4QeDkYJY — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#provenance–licensing出处与许可 权重根据 Apache-2.0 发布，继承自基础 Qwen3.5-9B。按原样共享，用于研究和实验。 ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#acknowledgements致谢 - 由 Empero (https://empero.org/) 开发和发布 - 基础模型：Qwen3.5-9B (https://huggingface.co/Qwen/Qwen3.5-9B)（阿里巴巴 Qwen 团队） - 量化：llama.cpp (https://github.com/ggml-org/llama.cpp)（ggml-org） - 视觉投影仪（mmproj）：继承自 Qwen3.5-9B（视觉塔未变）；F16 GGUF 重新托管，感谢 Unsloth (https://huggingface.co/unsloth) 的原始转换 - HF 模型：empero-ai/Qwythos-9B-Claude-Mythos-5-1M (https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M)