哪个编程智能体最能发挥本地 Qwen 3.8 27B 的潜力?我对比了 10 个,并记录了 token 用量、缓存情况和沙箱拦截情况

Reddit r/AI_Agents 新闻

摘要

一位开发者在搭载 M5 Max 的 MacBook Pro 上,使用本地 Qwen 3.8 27B 模型对 10 个编程智能体进行了基准测试,比较了通过率、词元用量、缓存复用和沙盒行为。Pi 最为精简,而 Qwen Code 的词元消耗最高,还有几个智能体尽管设置为离线模式,仍尝试访问网络。

我的智能体测试第二部分。上次用的是 4B 模型,大家希望我提供硬件、词元数量,并加入更多智能体。(利益披露:我参与开发 Atomic Agent,它是这十个智能体之一。)使用配置:MacBook Pro M5 Max,64 GB。通过 llama.cpp 运行 Qwen 3.8 27B Q4,关闭思考模式。结果 排名 智能体 通过数 耗时中位数 词元数中位数 缓存复用率 是否尝试联网 1 Pi 5/5 38 秒 9.2k 72% 否 2 DeepSeek Harness 5/5 60 秒 35.3k 83% 否 3 Codex CLI 5/5 94 秒 36.3k 79% 每次运行都尝试 4 OpenClaw 5/5 106 秒 39.0k 72% 不确定 5 Cline 5/5 152 秒 29.6k 79% 每次运行都尝试 6 OpenCode 4/5 50 秒 32.4k 75% 每次运行都尝试 7 Hermes 4/5 80 秒 64.9k 93% 否 8 Atomic Agent 5/5 56 秒 30.4k 86% 否 9 goose 4/5 98 秒 20.3k 76% 每次运行都尝试 10 Qwen Code 4/5 183 秒 107.9k 74% 不确定 测试方式 所有智能体使用相同的模型和服务器 5 个小型编程任务,每个都有一个小陷阱 每个智能体都被限制在沙箱中:只能访问自己的文件夹,只能与模型通信 开启自动批准,关闭遥测,限时 5 分钟 我的观察 Pi 精简得惊人:每个任务约消耗 9k 词元,在每一项任务中都是最低的。Qwen Code 消耗最大,每个任务约 108k 词元。Atomic Agent 的工作方式与众不同。它是唯一一个调用 llama.cpp 原生端点的智能体,并使用语法约束来强制工具调用符合规定格式。其余九个都使用 OpenAI 风格的 API。它的设计还会让提示词在各步骤之间保持一致,因此缓存复用率达到了 86%(10 个中排名第 2)。它全程没有联网,5/5 全部通过。日志任务让三个智能体中了招。它们用 grep 搜索“ERROR”,得到的结果是 244 而不是 64,因为有些正常日志行也会提到错误。OpenCode、goose 和 Atomic Agent 都踩了这个坑。Codex、Cline、goose 和 OpenCode 每次运行都尝试访问互联网,即使关闭了遥测也是如此。沙箱拦截了这些请求,所以我不知道它们在调用什么。OpenClaw 和 Qwen Code 被标记为“不确定”,因为它们都以普通 node 进程运行,我无法区分。配置说明 Cline 和 Qwen Code 默认开启使用情况统计,DeepSeek Harness 会上传会话日志(据其文档所述)。我把这些都关掉了 Codex 现在需要 llama-server 的 /v1/responses 端点 Hermes 至少需要 64K 上下文 有人在更小的模型上运行这些智能体吗,比如 9B 或 14B?很好奇排名会有什么变化。
查看原文

相似文章

Qwen 3.8 27b - PI AGENT 对比 OPENCODE

Reddit r/LocalLLaMA

一位用户使用Qwen 3.8 27b模型比较了PI Agent和OpenCode,发现PI Agent在智能体环境中更优,输出质量更高,令牌使用更少,上下文处理更佳。