empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face 源：https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF Qwythos-9B ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#qwythos-9b-claude-mythos-5-1m-gguf 由 Empero (https://empero.org/) 开发 GGUF 量化版本，适用于 empero-ai/Qwythos-9B-Claude-Mythos-5-1M（https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M），可用于 llama.cpp (https://github.com/ggml-org/llama.cpp)、Ollama、LM Studio、jan、KoboldCpp 及其他 GGUF 运行时。 Qwythos-9B 是一个全参数推理模型，经过超过 5 亿个 token 的高质量 Claude Mythos / Claude Fable 轨迹（含思维链）进行后训练，这些轨迹由 Empero AI 内部 rethink 工具生成。在匹配评估下，它在基础 Qwen3.5-9B 上表现出显著优势（MMLU +34 分，gsm8k-strict +30 分，gsm8k-flex +19 分），支持 原生函数调用（符合 Qwen3.5 规范），并默认启用 YaRN 绳索缩放，提供 1,048,576 token（1M）上下文窗口。有关完整的训练详情、评估数据及能力说明，请参阅 基础模型卡片（https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M）。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#files 文件 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#text-weights–pick-one-quant 文本权重 — 选择一种量化 | 文件 | 量化类型 | 大小 | 说明 | |——|–––––|——|——| | Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf | Q4_K_M | ~5.3 GB | 推荐默认选项 — 适用于 ~6–8 GB VRAM，质量优良 | | Qwythos-9B-Claude-Mythos-5-1M-Q5_K_M.gguf | Q5_K_M | ~6.1 GB | 平衡质量 / 大小 | | Qwythos-9B-Claude-Mythos-5-1M-Q6_K.gguf | Q6_K | ~6.9 GB | 高质量 | | Qwythos-9B-Claude-Mythos-5-1M-Q8_0.gguf | Q8_0 | ~8.9 GB | 近乎无损 | | Qwythos-9B-Claude-Mythos-5-1M-BF16.gguf | BF16 | ~17 GB | 全精度（转换基准） | 如果您不确定选择哪个，Q4_K_M 是正确的起点——它是实际可用的最小量化版本，且质量保持良好。 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#vision-projector–for-image-input 视觉投影仪 — 用于图像输入 | 文件 | 大小 | 说明 | |——|——|——| | mmproj-Qwythos-9B-Claude-Mythos-5-1M-f16.gguf | ~876 MB | CLIP 风格视觉编码器 + 投影仪；图像输入必需，可与上述任意文本量化版本搭配使用 | Qwythos 继承了其来自 Qwen3.5-9B 基础模型的 视觉塔——在 SFT（训练仅针对文本）期间视觉路径被 冻结，因此视觉行为与基础 Qwen3.5-9B 的多模态能力完全相同。该 mmproj 与任何社区构建的 Qwen3.5-9B mmproj-*.gguf 文件可互换使用。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#quick-start 快速开始 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#llamacpp-llama-cli llama.cpp（llama-cli） bash llama-cli \ -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \ -p "详细阐述有机磷神经毒剂如何抑制乙酰胆碱酯酶的生物化学过程。" \ -n 8192 \ --temp 0.6 --top-p 0.95 --top-k 20 --repeat-penalty 1.05 \ -c 16384 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#ollama Ollama bash ollama run hf.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF:Q4_K_M ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#lm-studio–jan–koboldcpp LM Studio / jan / KoboldCpp 将任意 .gguf 文件放入您的运行时模型目录中。Qwythos 使用标准 Qwen3.5 聊天模板；现代 GGUF 运行时会自动从文件中加载。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#vision-image-input 视觉（图像输入） Qwythos 开箱即用支持 图像输入。从此仓库下载一个文本量化文件和一个 mmproj-*.gguf 文件，然后使用 llama.cpp 的多模态 CLI 或服务器运行。 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#llamacpp-llama-mtmd-cli llama.cpp（llama-mtmd-cli） bash llama-mtmd-cli \ -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \ --mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-f16.gguf \ --image ./photo.jpg \ -p "详细描述这张图片。" \ --temp 0.6 --top-p 0.95 --top-k 20 \ -c 16384 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#llamacpp-server-openai-compatible-api-with-images llama.cpp 服务器（OpenAI 兼容 API 支持图像） bash llama-server \ -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \ --mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-f16.gguf \ -c 16384 --port 8080 然后向 /v1/chat/completions 发送带有图像 URL 或 base64 负载的 POST 请求——标准的 OpenAI 视觉 API 格式即可工作。 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#lm-studio LM Studio 加载文本量化文件；LM Studio 会自动检测同一文件夹中匹配的 mmproj-*.gguf 文件，并启用图像附件按钮。 ### https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#what-vision-unlocks 视觉解锁的能力 由于 Qwythos 的视觉塔与 Qwen3.5-9B 基础模型完全相同，因此预期具备 Qwen3.5-9B 文档中记载的视觉能力：详细图像描述、OCR（印刷体 + 手写体）、图表/表格阅读、UI/文档理解、基础空间推理。 诚实说明： 用于生成 Qwythos 的 SFT 仅针对 文本——我们没有微调视觉塔或使用任何图像配对数据进行训练。因此，基于图像的推理能力继承自基础模型；在本版本中并未进行独立评估。如果您的应用 主要依赖视觉，请先在您自己的用例中验证。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#sampling-recommendations 采样建议 Qwythos 是一个推理模型——每个回答在最终答案之前都会以一个 ... 块开头。请使用以下默认设置： | 参数 | 值 | |––––|—–| | temperature | 0.6 | | top_p | 0.95 | | top_k | 20 | | repeat_penalty | 1.05 | | max_new_tokens | 16384（为 ... + 答案提供充足预算） | 这些与 Qwen3.5 官方思考模式建议一致。 避免贪心解码和极低温度采样（T ≤ 0.3）——两者都可能导致长推理生成中出现重复循环。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#long-context-1m-tokens 长上下文（1M token） GGUF 文件默认内置了 YaRN 绳索缩放，支持 1,048,576 token 的上下文窗口（是原生 262k 的 4 倍扩展）。要在 llama-cli 中使用完整的 1M 窗口，请设置 -c 1010000（或任意不超过该值的上下文长度）。对于较短的提示，降低 -c 以减少 KV 缓存内存——在默认设置下，llama.cpp 会自动调整大小。单个 H100/H200 级别 GPU 可舒适处理 256k–512k；完整的 1M 通常需要张量并行多 GPU 或激进的 KV 缓存卸载。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#capabilities-from-the-base-model-card 能力（来自基础模型卡片） - MMLU +34 分，gsm8k-strict +30 分，gsm8k-flex +19 分 vs. 在匹配的 lm-eval-harness 评估下的基础 Qwen3.5-9B - 原生函数调用，符合 Qwen3.5 的聊天模板规范——输出 VAL 块，可直接用于任何工具使用循环 - 带工具的自我纠错：在一个 7 提示的工具使用测试（Python 执行器 + DuckDuckGo 搜索）中，Qwythos 在 7/7 的任务中生成了带有来源引用的正确答案，包括来自原始审查的 4/4 闭卷失败模式 - 无审查——认真处理跨网络安全、红队、生物学、药理学和临床医学的高技术难度问题 - 1,048,576 token（1M）上下文——默认启用 YaRN 绳索缩放 有关完整的评估记录和任务级数据，请参阅基础模型卡片中的 evals/ 文件夹（https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M/tree/main/evals）。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#limitations 限制 - **推理模型。**每个回答都以 ... 块开头；请配置充足的 max_new_tokens，并为最终用户解析/去除 ...。 - **使用推荐的采样设置。**贪心/极低温度可能导致重复循环。 - **在安全关键上下文中验证具体细节。**与所有同重量级的闭卷 LLM 一样，Qwythos 可能会在不确定的特定标识符（如 CVE、hashcat 模式、药物位置）上过度自信。在此类部署中，请搭配检索或函数调用——当提供工具时，模型会干净地使用它们。 - 无审查——请为面向最终用户的部署添加您自己的应用级审查/安全层（如果适用）。 — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#stay-in-the-loop 保持关注 在 empero.org（https://empero.org/） 注册 Empero 新闻通讯，获取发布信息、评估结果和研究笔记。 ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#support–donate 赞助 / 捐赠 如果这个模型对您有帮助，请考虑支持该项目： - BTC: bc1qx6zepu6sfkvshgdmc4ewu6pk6rpadvpgffpp7v - LTC: ltc1qv2mefzps2vtjcpwfx8xxdrpplrcvltswm68r7x - XMR: 42Dbm5xg5Nq26fdyzfEU7KBnAJfhi7Cvz5J2ex5CzHXkfKuNEJzYCcmJ1GTbgjFZ5MBx72sdG1G9239Cd6rsZfv4QeDkYJY — ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#provenance–licensing 来源与许可 权重在 Apache-2.0 许可下发布，继承自 Qwen3.5-9B 基础模型。按原样共享，仅供研究和实验使用。 ## https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF#acknowledgements 致谢 - 由 Empero（https://empero.org/） 开发并发布 - 基础模型：Qwen3.5-9B（https://huggingface.co/Qwen/Qwen3.5-9B）（阿里巴巴 Qwen 团队） - 量化工具：llama.cpp（https://github.com/ggml-org/llama.cpp）（ggml-org） - 视觉投影仪（mmproj）：继承自 Qwen3.5-9B（视觉塔未变）；F16 GGUF 重新托管，感谢 Unsloth（https://huggingface.co/unsloth） 的原始转换 - HF 模型：empero-ai/Qwythos-9B-Claude-Mythos-5-1M（https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M）