Saluki 27B：「性能达 Qwen 3.8 的 96%，体积仅约 1/7」

# 暴冷黑马 Saluki 27B 来源：https://underdog.ai/saluki 我们的模型 Qwen3.8-27B 是一个开源模型，据 Artificial Analysis (https://artificialanalysis.ai/models/comparisons?compare=qwen3-8-27b,claude-opus-4-6-adaptive) 评测，它击败了 Claude Opus 4.6 Max——那是半年前的前沿模型。我们把它压缩到 7.89 GB，可以在标准 llama\.cpp 上运行。我们称之为 **Saluki**。据我们所知，它是目前该模型 2-bit 量化版本中工具调用能力最强的，而且运行不需要任何特殊软件。 文件大小 7.89 GB / 原始约 54 GB / Underdog Bench 88 / 120 / 可运行于 16 GB 内存的笔记本 ## 简要总结 我们在开发过程中制作了几个 Qwen3.8-27B 的 2-bit 版本，然后将它们与同一模型的其他小体积版本进行了对比测试——也就是人们最可能拿来和我们比较的那些。 - 我们的构建在 **Underdog Bench**（我们的工具调用测试）中得分最高，在选择正确工具方面明显最强。 ## 最适合 - **使用工具的 Agent：**选择正确的函数、填写参数、串联多次调用。 - **本地助手：**严格遵循指令，运行在你已有的硬件上。 - **隐私与离线工作：**数据不出本机。 ## 值得注意的事项 - **为 Agent 而生，不是为数学竞赛。**Saluki 在竞赛数学（AIME）上保留了完整模型 82% 到 85% 的得分。但对于日常推理和工具调用，它表现得远为出色。 - **它喜欢深思熟虑。**开启思考模式后，Saluki 会在回答前仔细推理，默认的推理力度效果最佳。如果需要快速的工具调用，请关闭思考模式。 - **并行调用请使用宽松的工具调用解析器。**部分多调用回复的格式略有不同。宽松解析器可以恢复大部分（100 个中 55 个通过，而严格解析只有 42 个）。 - **字母层面的文字游戏**（回文、元音排列等）是它最不擅长的指令类型。 - **纯文本输入，纯文本输出。**此版本不支持图像输入。 ## 重点：Underdog Bench 工具调用是将聊天模型变成 Agent 的关键。模型必须选择正确的函数、填写正确的参数，并知道何时没有合适的工具可用。 Underdog Bench 包含来自 Berkeley Function Calling Leaderboard (https://gorilla.cs.berkeley.edu/leaderboard.html) 的 120 个任务，分为五类工具使用场景，每类 24 个。我们在 9 月 27 日选定并冻结了这些任务，早于任何模型的测试。每个模型都使用相同的工作框架和设置，运行在各自的运行时中：我们的在原版 llama\.cpp 上运行，其他的在其文件所对应的运行时中运行。 120 个任务中通过的数量： - Main 7.9 GB 91 - Saluki 7.89 GB 88 - Mia 2-bit 9.1 GB 85 - 全尺寸 Qwen3.8-27B 约 54 GB 84 - ISTA 2-bit 8.4 GB 76 - Ternary Bonsai 2 5.95 GB 70 Saluki / Main（我们的另一个构建） / 其他 2-bit 构建 / 全尺寸模型 | 模型 | 大小 | 通过（共 120） | 保留全尺寸模型 84 题中的 | |---|---|---|---| | Main（我们） | 7.9 GB | 91 | 77（92%） | | Saluki（我们，即将发布） | 7.89 GB | 88 | 76（90%） | | Mia 2-bit（EXL3 2.0bpw） | 9.1 GB | 85 | 63（75%） | | ISTA 2-bit（IQ2\_XS） | 8.4 GB | 76 | 63（75%） | | Ternary Bonsai 2（2PTQ1\_0） | 5.95 GB | 70 | 68（81%） | | 全尺寸 Qwen3.8-27B（参照） | 约 54 GB | 84 | 84 | 我们的 Main 构建以 91 分位居 Underdog Bench 榜首。Saluki 得分 88。两者都超过了我们测试的其他所有 2-bit 构建。 我们还保留了全尺寸模型正确解答的绝大部分任务：84 题中的 76 或 77 题，而其他 2-bit 构建最多只保留了 68 题。我们的两个构建都超过了全尺寸模型的得分。我们并不声称它们比原始模型更聪明。120 个任务是一个较小规模的测试，部分领先可能来自运行间的波动。 ### 各模型擅长的任务类型 每类 24 个任务： | | Main | Saluki | Mia | Ternary Bonsai 2 | |---|---|---|---|---| | 调用唯一正确的函数 | 23 | 24 | 19 | 23 | | 从多个函数中选择正确的 | 22 | 23 | 12 | 21 | | 知道何时没有合适的工具 | 19 | 18 | 19 | 18 | | 同一函数多次调用 | 16 | 12 | 2 | 1 | | 多个不同函数调用 | 11 | 11 | 14 | 6 | Saluki 在选择正确工具方面显然最强：前两行共 **48 题中答对 47 题**，而 Mia 只有 31 题。这是一个助手在处理大量工具时每天都要用到的能力。 ## 一次发出多个工具调用 真实助手往往需要一步完成多件事："查看巴黎、伦敦和东京的天气"，或者"订好桌子并加到日历里"。能否在一次回复中正确完成，就是并行工具调用测试的内容。 我们从 Berkeley Function Calling Leaderboard 中选取了 100 个此类任务。任务和评分规则在任何模型运行之前就已确定并冻结。每个模型均关闭思考模式、使用相同设置，运行在各自的运行时中。 | | 100 个任务中通过 | |---|---| | | Mia 9.1 GB | Saluki 7.89 GB | 全尺寸 约 54 GB | Ternary Bonsai 2 5.95 GB | | 严格评分 | 69 | 42 | 35 | 11 | | 宽松评分（忽略轻微格式偏差） | 70 | 55 | 35 | 11 | | 同一函数多次调用 | 43 / 62 | 22 / 62 | 24 / 62 | 3 / 62 | | 多个不同函数 | 26 / 38 | 20 / 38 | 11 / 38 | 8 / 38 | Mia 在此项目中是明显的领先者，我们坦然承认。它的文件也更大：9.1 GB，而 Saluki 为 7.89 GB。Saluki 超越了它所源自的全尺寸模型——在关闭思考模式时（如本次测试），全尺寸模型在需要多次调用的任务中往往只发出一次调用就停止了。 我们在这方面也并不完美。在 23 个任务中，Saluki 的回复没有包含解析器能读取的调用，主要是格式偏差，宽松评分部分恢复了这些。这是我们接下来要改进的地方。 ## 编码 Agent 与网页浏览 这两项测试最接近真实的 Agent 工作。它们需要数小时才能运行，因此我们只在 Saluki 上运行了编码测试，此外还为 Main 运行了浏览测试。 在编码测试中，模型获得来自 SWE-bench Verified 的 50 个真实 GitHub issue。它必须自行探索代码、找到 bug 并修复，修复结果由项目自身的测试来验证。在浏览测试（WebWalkerQA）中，模型从一个真实网站的主页开始，需要通过点击导航找到问题的答案，共 150 个问题。 | 测试 | Saluki | Ternary Bonsai 2 | 全尺寸 | |---|---|---|---| | 编码 Agent：修复 issue 数 / 共 50 | 30 | 29 | 33 | | 编码 Agent：全尺寸模型修复的 33 个中仍能修复 | 27 | 25 | 33 | | 网页浏览：正确回答 / 共 150 | 60（40.0%） | 55（36.7%） | 未运行 | Main 在浏览测试的 150 个问题中答对了 48 个（32.0%）。在编码测试中，Saluki 保留了全尺寸模型能力的大部分：33 个修复中的 27 个。所有模型的浏览回答均由同一评审模型、同一规则评判。Main 的浏览能力较弱，这也是我们选择发布 Saluki 的原因之一。 ## IFEval：遵循简单、可验证的指令 IFEval 是标准的指令遵循测试：541 个 prompt，包含程序可验证的规则，如"回答不超过 100 字"、"不使用逗号"或"将整个回复用双引号括起来"。我们使用 Qwen 推荐的思考设置运行 Saluki（温度 0.6，默认思考力度）。 | 模型 | IFEval | 来源 | |---|---|---| | Saluki | 93.5 / 90.9 | 宽松 / 严格，我们的运行 | | Ternary Bonsai 2 | 91.31 | Ternary Bonsai 2 的模型卡片 | | 全尺寸 Qwen3.8-27B | 91.50 | Ternary Bonsai 2 的模型卡片 | 在宽松指标上，Saluki 的得分超过了全尺寸模型的公开数字。有两点需要注意：公开数字未说明是宽松还是严格指标，且来自不同的测试框架。我们的数据将 6 个未完成的 prompt 计为失败，因此是较为保守的版本。 ## 在任何支持 llama\.cpp 的地方都能运行 Saluki 使用标准的 llama\.cpp 格式，可在原版 llama\.cpp (https://github.com/ggml-org/llama.cpp) 以及基于其构建的应用中直接加载，无需定制编译。Mia 的文件采用 ExLlamaV3 (https://github.com/turboderp-org/exllamav3) 格式，因此需要 ExLlamaV3 运行时，完全无法在 llama\.cpp 中加载。为了公平起见，我们在各自的运行时中运行了每个模型——这是它们各自的最佳运行环境。 感谢 ISTA-DASLab (https://huggingface.co/ISTA-DASLab) 发布的 2-bit 版本（Saluki 的构建基础），以及 Qwen 团队开发的 Qwen3.8-27B。