哪个编程智能体最能发挥本地 Qwen 3.8 27B 的潜力?我对比了 10 个,并记录了 token 用量、缓存情况和沙箱拦截情况
摘要
一位开发者在搭载 M5 Max 的 MacBook Pro 上,使用本地 Qwen 3.8 27B 模型对 10 个编程智能体进行了基准测试,比较了通过率、词元用量、缓存复用和沙盒行为。Pi 最为精简,而 Qwen Code 的词元消耗最高,还有几个智能体尽管设置为离线模式,仍尝试访问网络。
我的智能体测试第二部分。上次用的是 4B 模型,大家希望我提供硬件、词元数量,并加入更多智能体。(利益披露:我参与开发 Atomic Agent,它是这十个智能体之一。)使用配置:MacBook Pro M5 Max,64 GB。通过 llama.cpp 运行 Qwen 3.8 27B Q4,关闭思考模式。结果 排名 智能体 通过数 耗时中位数 词元数中位数 缓存复用率 是否尝试联网 1 Pi 5/5 38 秒 9.2k 72% 否 2 DeepSeek Harness 5/5 60 秒 35.3k 83% 否 3 Codex CLI 5/5 94 秒 36.3k 79% 每次运行都尝试 4 OpenClaw 5/5 106 秒 39.0k 72% 不确定 5 Cline 5/5 152 秒 29.6k 79% 每次运行都尝试 6 OpenCode 4/5 50 秒 32.4k 75% 每次运行都尝试 7 Hermes 4/5 80 秒 64.9k 93% 否 8 Atomic Agent 5/5 56 秒 30.4k 86% 否 9 goose 4/5 98 秒 20.3k 76% 每次运行都尝试 10 Qwen Code 4/5 183 秒 107.9k 74% 不确定 测试方式 所有智能体使用相同的模型和服务器 5 个小型编程任务,每个都有一个小陷阱 每个智能体都被限制在沙箱中:只能访问自己的文件夹,只能与模型通信 开启自动批准,关闭遥测,限时 5 分钟 我的观察 Pi 精简得惊人:每个任务约消耗 9k 词元,在每一项任务中都是最低的。Qwen Code 消耗最大,每个任务约 108k 词元。Atomic Agent 的工作方式与众不同。它是唯一一个调用 llama.cpp 原生端点的智能体,并使用语法约束来强制工具调用符合规定格式。其余九个都使用 OpenAI 风格的 API。它的设计还会让提示词在各步骤之间保持一致,因此缓存复用率达到了 86%(10 个中排名第 2)。它全程没有联网,5/5 全部通过。日志任务让三个智能体中了招。它们用 grep 搜索“ERROR”,得到的结果是 244 而不是 64,因为有些正常日志行也会提到错误。OpenCode、goose 和 Atomic Agent 都踩了这个坑。Codex、Cline、goose 和 OpenCode 每次运行都尝试访问互联网,即使关闭了遥测也是如此。沙箱拦截了这些请求,所以我不知道它们在调用什么。OpenClaw 和 Qwen Code 被标记为“不确定”,因为它们都以普通 node 进程运行,我无法区分。配置说明 Cline 和 Qwen Code 默认开启使用情况统计,DeepSeek Harness 会上传会话日志(据其文档所述)。我把这些都关掉了 Codex 现在需要 llama-server 的 /v1/responses 端点 Hermes 至少需要 64K 上下文 有人在更小的模型上运行这些智能体吗,比如 9B 或 14B?很好奇排名会有什么变化。
相似文章
本地代理编码基准测试:Qwen 3.8 27B(多种权重量化/缓存量化/引擎/推理努力)与其他模型对比。
文章报道了一项基准测试,比较Qwen 3.8 27B与其他模型在代理编码方面的表现,强调中等推理模式在效率上更优,而xhigh模式在分数上没有显著提升。
2026年适合小型本地LLM的十大AI智能体:基于Qwen3.5-4B的实测
对10个AI编程智能体进行实测基准测试,以无头模式在本地Qwen3.5-4B模型上运行五个编程任务。结果显示Pi、goose和Crush完成最快,而Codex CLI因API与本地环境不兼容而完全失败。
Qwen 3.8 27b - PI AGENT 对比 OPENCODE
一位用户使用Qwen 3.8 27b模型比较了PI Agent和OpenCode,发现PI Agent在智能体环境中更优,输出质量更高,令牌使用更少,上下文处理更佳。
我测试了2个本地代理是否并行运行还是轮流使用1个模型。批处理是真实的,但使用QWEN 3.8 27B 4bit在MacBook Pro M3Max 128GB统一内存40核GPU上并非没有代价
作者在MacBook Pro M3Max上使用QWEN 3.8 27B 4bit模型进行了两个本地代理并行运行的实验,发现批处理可以实现并发执行,但会增加延迟,最佳代理数约为4个。
本地智能体编码基准测试:Qwen3.8-Flash-Next NVFP4 对比 27B(以及其他...)
基准测试显示,Qwen3.8-Flash-Next-NVFP4 在本地模型中取得了接近最高分数,在请求处理和令牌生成方面表现出卓越效率,尽管训练不足,但速度仍然显著。