测试了15个本地模型在 agent/工具使用上的表现——Bonsai 27B 排名垫底！

我测试了15个本地模型的 agent/工具使用能力——Bonsai 27B 排在最后 我想弄清楚哪些本地模型在 agent/工具使用任务上真的可用，所以没有根据模型的宣传口径去猜测，而是把15个模型放在同一个基准上实测。基准用的是 Toolery。它不只是检查模型能不能调用工具……这些场景要求模型在不同约束条件下真正把任务完成。 - 143 个场景 - 每个场景 3 次试验 - 每个模型 429 次试验 - 分为 Easy、Medium、Hard 和 Very Hard 四个难度层级 - 全部通过 LM Studio 本地服务 - 无 API 成本 - 所有模型统一 30k token 上下文窗口 - 所有模型统一 temperature 0.8 - 其余设置沿用各模型在 LM Studio 中的默认配置 - 例外是 qwen3.8-flash-next，我使用的是 Strata，但仍然把 temperature 设为 0.8 - 并发数 4 - 超时倍率 4.0 结果： # 模型 得分 Easy Medium Hard Very Hard 1 qwen/qwen3.8-27b 71.8% 96.7 93.3 71.6 41.7 2 mellum2-12b-a2.5b-thinking 71.4% 88.3 91.1 71.6 45.8 3 google/gemma-4-26b-a4b 70.4% 92.5 93.3 60.8 50.0 4 granite-4.2-8b 67.8% 85.8 88.9 62.7 45.8 5 qwen3.8-flash-next-iq2_xs 64.5% 89.2 91.9 62.7 30.6 6 mistralai/devstral-small-2-2512 63.9% 75.8 83.7 58.8 45.8 7 ornith-1.5-9b 62.3% 84.2 83.7 60.8 34.7 8 lfm2.5-8b-a1b 61.6% 72.5 74.1 55.9 51.4 9 ornith-1.5-35b-a3b 61.0% 85.8 84.4 57.8 31.9 10 meta/muse-glimmer 60.0% 87.5 92.6 52.0 26.4 11 qwen3.8-27b-gsq-rco 59.0% 84.2 85.9 51.0 31.9 12 gpt-oss-20b 58.6% 81.7 86.7 53.9 27.8 13 google/gemma-4-12b-qat 56.7% 84.2 83.0 46.1 31.9 14 qwen3-coder-30b-a3b-instruct 54.3% 60.0 73.3 51.0 37.5 15 prism-ml/bonsai-27b 50.5% 65.8 64.4 58.8 22.2 https://preview.redd.it/hc91j4zu6ith1.png?width=2421&format=png&auto=webp&s=aab58787a4846e8f2df68254f7b2f9b6ea2b1cac 所以没错，Bonsai 总分垫底。它在 Very Hard 场景上同样垫底，只有 22.2%。但更值得关注的是它为什么会失败。 失败模式 Bonsai 共有 148 次试验失败。其中 103 次属于 budget_violated。这意味着模型经常选对了工具、也得到了正确结果，但比场景允许的额度多调用了一次工具。只有 30 次失败被归类为选错工具。 所以问题并不总是：“我根本不知道该用哪个工具”。更像是：“我清楚自己在做什么，再调用一次这个工具吧”。然后它就超出了工具调用预算。 这其实是我最感兴趣的部分。模型有时确实能正确执行任务，但它不知道什么时候该停下来。 对比来看： - qwen3.8-27b 以 71.8% 排名第一 - qwen3.8-27b 总共失败 84 次试验 - granite-4.2-8b 总体失败次数最少，仅 69 次 速度表现也不太好 Bonsai 是本次运行中最慢的模型，墙钟总耗时为 6,208 秒。第二慢的模型耗时约 5,750 秒，而得分高出约 17 分。qwen flash 模型每个场景大约 9 秒。 需要说明的重要前提 这是初代 Bonsai 27B，而不是更新的 Bonsai 2 27B。压缩本身仍然值得关注。用 1-bit 版本把一个 27B 级别的模型压进大约 4GB 相当惊艳，而且该模型确实保留了相当多的原始能力。但这个基准只测试了一件事：当这个模型必须在约束条件下完成工具使用/agent 任务时，它的行为如何。 它不是一个通用智能基准，也不能证明 Bonsai 是一个糟糕的模型。结论更具体一些：压缩确实很惊艳，但原始的 1-bit Bonsai 27B 在这次测试中表现出了出乎意料地薄弱的 agent/工具使用行为，尤其是在“知道何时该停下来”这一点上。 我还想用完全相同的基准跑一遍 Bonsai 2。由于它基于更新的 Qwen3.8 27B 系列，这个对比会比把初代 Bonsai 不分版本地和其他所有模型混在一起比较要有意义得多。 局限性 本次测试： - 只用了一个基准 - 只用了一套 harness - 每个模型只跑了一次 - 30k 上下文窗口 - temperature 0.8 - 大部分沿用各模型在 LM Studio 中的默认设置 - 只尝试了一种 adapter 配置 - 本地服务，量化和上下文设置并未做到完全一致的归一化 所以请把它当作一次快照来看待。