ConwayResearch/Underdog-Saluki-27B-1.0
摘要
ConwayResearch 发布 Underdog-Saluki-27B-1.0，一个基于 Qwen3.8-27B 的 IQ2 量化模型，可在不到 8GB 内存中运行，同时保留约 96% 的工具调用能力，并支持可选视觉扩展，兼容标准 llama.cpp。
查看缓存全文
缓存时间: 2026/10/09 18:25
ConwayResearch/Underdog-Saluki-27B-1.0 · Hugging Face
来源：https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
Qwen3.8-27B，8 GB 以内运行，经过调优以保持工具调用完整性。标准 GGUF 格式，适配原版 llama.cpp。
| 工具调用（Underdog Bench） | 平行工具调用 | 平均保留率 | 大小 |
|---|---|---|---|
| 88 vs 完整模型 84 | 42 vs 完整模型 35 | 96%（跨 9 个基准测试） | 7.89 GB vs 54 GB |
| 基础模型 | Qwen3.8-27B |
| 文件 | Underdog-Saluki-27B-1.0-IQ2-mix.gguf，7.89 GB |
| 运行环境 | 原版 llama.cpp，以及基于其构建的应用 |
| 模态 | 文本；通过可选的视觉附加模块支持图像 |
| 视觉附加模块 | mmproj-Underdog-Saluki-27B-1.0-F16.gguf（928 MB）或 -Q8_0.gguf（629 MB） |
| 思考模式 | 默认开启，可按请求切换，与 Qwen3.8 一致 |
https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0#quickstart 快速开始
huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768
添加视觉功能。 同时下载视觉附加模块，通过 --mmproj 传入。然后即可像往常一样通过 OpenAI chat API 发送图像。
huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 mmproj-Underdog-Saluki-27B-1.0-F16.gguf --local-dir .
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --mmproj mmproj-Underdog-Saluki-27B-1.0-F16.gguf --jinja -ngl 99 -fa on -c 32768
--jinja 启用 Qwen3.8 聊天模板，该模板支持工具调用和思考模式。服务器在 8080 端口提供 OpenAI chat API。
| 用途 | 设置 |
|---|---|
| 一般使用、推理、指令 | 思考开启（默认），temperature 0.6，top_p 0.95，top_k 20 |
| 快速、直接的工具调用 | 通过 "chat_template_kwargs": {"enable_thinking": false} 关闭思考，temperature 0 |
https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0#benchmarks 基准测试
Saluki 在原版 llama.cpp 中运行。在我们自行运行完整版 Qwen3.8-27B 的测试中，使用了相同的测试框架和设置。
工具调用。 Underdog Bench 包含 120 个任务，取自 Berkeley Function Calling Leaderboard (BFCL v4)，在任何模型测试之前已冻结。关闭思考模式，temperature 0。
| 模型 | 大小 | 通过（共 120 题） |
|---|---|---|
| Underdog Saluki 27B 1.0 | 7.89 GB | 88 |
| Qwen3.8-27B，完整版 | 54 GB | 84 |
| Bonsai | 25.95 GB | 70 |
并行工具调用。 100 个 BFCL v4 并行任务，使用官方检查器，关闭思考模式：Saluki 42，完整版 35。
智能体、指令遵循、编码与推理。
| 基准测试 | Saluki | 完整版 |
|---|---|---|
| SWE-bench Verified（修复 50 个 issue） | 30 | 33 |
| IFEval（prompt-loose） | 93.5 | 91.5（公开成绩） |
| IFBench（prompt-loose） | 72.7 | 71.0（公开成绩） |
| MBPP+ | 78.0 | 83.9（公开成绩） |
| MuSR | 67.5 | 79.6（公开成绩） |
| AIME 2025（avg@4） | 79.2 | 96.7（公开成绩） |
| AIME 2026（avg@4） | 80.0 | 94.6（公开成绩） |
公开成绩来自与我们不同的测试框架。120 个任务的测试规模有限，任何差距中的几道任务之差属于运行间波动。
https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0#limitations 局限性
- 保留了完整模型竞赛数学成绩的约 82% 到 85%。
- 在字符级指令谜题（回文、元音规则、字母排序）上表现最弱。
- 约五分之一的并行调用回复存在轻微的格式问题。
- 开启思考模式时，通常会在回答前进行较长的推理。
- 视觉功能为附加模块。主文件仅支持文本；需要处理图像时，请添加 0.6 到 0.9 GB 的视觉文件。
https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0#credits-and-license 鸣谢与许可证
Apache 2.0 许可证。基于 Qwen 团队的 Qwen3.8-27B 和 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO-GGUF 构建，两者均采用 Apache 2.0 许可证。Underdog Bench 任务来自 Berkeley Function Calling Leaderboard。详见 NOTICE。
由 Underdog 构建。
相似文章
Saluki 27B：「性能达 Qwen 3.8 的 96%，体积仅约 1/7」
Underdog AI 发布了 Saluki 27B——Qwen3.8-27B 的 2-bit 量化版本，文件仅 7.89 GB，可在 16GB 笔记本上通过标准 llama.cpp 运行，在其自建的 Underdog Bench 工具调用测试中取得 88/120 的成绩，保留了原模型约 96% 的性能。
Qwen3.8-27B 混合 IQ4_XS 量化版本，适用于16GB RAM
这是一个使用 IQ4_XS 量化的 Qwen3.8-27B AI模型的量化版本，针对16GB RAM系统进行了优化，并提供使用各种工具如 llama.cpp 和 Ollama 的本地部署指南。
面向 16GB GPU 与 Qwen 3.6 35B MoE 代码模型的穷人版推理引擎
作者将 llama.cpp 的 server 分支为 AgrillaMoE，针对 Qwen3.6-35B-A3B MoE 模型在 16GB 显存 GPU 上优化，配合 2-bit 量化可达约 57-60 tok/s，并支持 OpenAI/Anthropic API 兼容接口；其 MoE 扩展补丁在运行时增加每 token 激活专家数（20 vs 8），无需重训即可在 GPQA-Diamond 上提升约 2.5 分。
@lilililiMozi：关于我明明就是 Qwen3.8 27B 模型，却使用 390 万行……进行专项微调这件事
发布者声称该模型基于 Qwen3.8 27B，使用 390 万行代码数据进行专项微训，融合高效思考机制压缩推理长度，并经由 Opus5.5、GPT6Astra、Grok4.7、DSV4Pro 蒸馏对齐，配备 K3 kernel，再通过 SFT、RLOO 强化学习与 MTP 多词元预测三重训练，同时集成 DFlash2 注意力加速。
在 8GB 显存和 32GB 内存上运行 Qwen3.6 35b a3b，~190k 上下文
作者分享了一种高性能的本地推理配置，使用支持 TurboQuant 的修改版 llama.cpp，在硬件受限（8GB 显存、32GB 内存）的情况下运行 Qwen3.6 35B A3B，实现了 ~37-51 tok/sec 的生成速度，并支持 ~190k 上下文。