2026年适合小型本地LLM的十大AI智能体:基于Qwen3.5-4B的实测
摘要
对10个AI编程智能体进行实测基准测试,以无头模式在本地Qwen3.5-4B模型上运行五个编程任务。结果显示Pi、goose和Crush完成最快,而Codex CLI因API与本地环境不兼容而完全失败。
我测试了10个智能体,每个都有各自独立的配置文件夹。以无头模式运行,开启自动确认,并在可能的情况下关闭遥测。通过 `adapters/<agent>.sh` 启动每个智能体。思路很简单:给每个智能体5个基础任务,每个任务限时10分钟,每次使用全新的测试数据副本,配合一个自动检查脚本(`check/check.sh`)。
任务:
- **T1** 从YAML中读取数据库端口(不要与缓存端口混淆),写入文件
- **T2** 编写stats.py脚本,运行并保存输出
- **T3** 修复slugify中的bug使测试通过;隐藏用例用于检测过拟合
- **T4** 统计三个日志文件中的ERROR行数,找出出现最频繁的错误
- **T5** 在三个文件中重命名一个函数,同时不改变程序输出
## 结果
### 1. Pi (v1.3.0)
总耗时:1分36秒。完成全部5个任务用时最少。模型几乎不需要理解复杂的工具格式。
| T1 | T2 | T3 | T4 | T5 | 总计 |
|----|----|----|----|----|------|
| ✅ 10s | ✅ 14s | ✅ 24s | ✅ 19s | ✅ 29s | 5/5 |
### 2. goose (v1.55.0)
总耗时:2分51秒。表现稳健一致。五个任务全部顺利完成,毫无失误。
| T1 | T2 | T3 | T4 | T5 | 总计 |
|----|----|----|----|----|------|
| ✅ 16s | ✅ 18s | ✅ 26s | ✅ 45s | ✅ 66s | 5/5 |
### 3. Crush (v0.98.1)
总耗时:3分31秒。运行顺畅。推理过程稍微冗长一些,但毫无波折地完成了所有任务。
| T1 | T2 | T3 | T4 | T5 | 总计 |
|----|----|----|----|----|------|
| ✅ 24s | ✅ 26s | ✅ 64s | ✅ 38s | ✅ 59s | 5/5 |
### 4. Atomic Agent (v0.6.9)
总耗时:4分38秒。五个任务全部完成。T3和T5耗时较长——模型需要额外步骤来处理多文件编辑,但每次都准确完成。没有出现损坏的工具调用,也没有一次虚假完成。
| T1 | T2 | T3 | T4 | T5 | 总计 |
|----|----|----|----|----|------|
| ✅ 11s | ✅ 22s | ✅ 77s | ✅ 48s | ✅ 104s | 5/5 |
### 5. Cline (v3.0.73)
总耗时:5分56秒。在T2上卡了两分多钟才正确写出脚本。其他任务表现正常。
| T1 | T2 | T3 | T4 | T5 | 总计 |
|----|----|----|----|----|------|
| ✅ 22s | ✅ 137s | ✅ 51s | ✅ 69s | ✅ 77s | 5/5 |
### 6. OpenClaw (v2026.10.5)
总耗时:5分44秒。使用其 `--local-model-lean` 模式运行,基本上就是小型模型预设。就其定位而言表现良好,只是T3和T4比我期望的慢。
| T1 | T2 | T3 | T4 | T5 | 总计 |
|----|----|----|----|----|------|
| ✅ 29s | ✅ 32s | ✅ 107s | ✅ 116s | ✅ 60s | 5/5 |
### 7. OpenCode (v1.19.3)
总耗时:17分43秒。全部完成,但每个任务接近4分钟。模型明显在简单步骤上过度思考。不过最终完成了任务,只是效率不高。
| T1 | T2 | T3 | T4 | T5 | 总计 |
|----|----|----|----|----|------|
| ✅ 241s | ✅ 225s | ✅ 178s | ✅ 289s | ✅ 130s | 5/5 |
### 8. Hermes (v0.22.2)
总耗时:4分36秒。T3失败,因为只修复了可见的测试用例。隐藏用例中 `C++ & Rust 2026` 应转为 `c-rust-2026`,却被转成了 `c++-&-rust-2026`。典型的过拟合测试。
| T1 | T2 | T3 | T4 | T5 | 总计 |
|----|----|----|----|----|------|
| ✅ 31s | ✅ 37s | ❌ 120s | ✅ 45s | ✅ 43s | 4/5 |
### 9. Qwen Code (v0.25.3)
总耗时:6分00秒。T4中数出了40行ERROR而非43行。纯粹是模型计数错误——不过最频繁的错误被正确识别了。
| T1 | T2 | T3 | T4 | T5 | 总计 |
|----|----|----|----|----|------|
| ✅ 47s | ✅ 32s | ✅ 123s | ❌ 59s | ✅ 99s | 4/5 |
### 10. Codex CLI (v0.163.0)
甚至没有到达模型。0.163版本只支持Responses API,llama.cpp将其转换为chat格式,而Qwen3.5 (4B Q4_K_M)模板在任何请求通过之前就会抛出500错误 `"System message must be at the beginning"`。
| T1 | T2 | T3 | T4 | T5 | 总计 |
|----|----|----|----|----|------|
| ❌ | ❌ | ❌ | ❌ | ❌ | 0/5 |
## 我的实际收获
**一个4B模型在几乎所有框架中都足以胜任基础的智能体工作。** 七个智能体完成了全部五个任务。在这个难度级别上,瓶颈不是模型——而是围绕它的框架。
**Codex CLI目前对本地环境来说基本上是废了**,除非他们把chat-completions支持加回来。这个挺遗憾的,因为以前是可以用的。
**错误恢复比原始能力更重要。** 丢分的两个智能体(Hermes和Qwen Code)并非在不可能的任务上失败——它们是在边界情况下失败的,模型在那些地方过于"自由发挥"而非严格按字面理解。
如果你想在基准测试中看到其他内容请告诉我(实际上有人用2B以下的模型试过吗?)
相似文章
Qwen 3.6 27B:本地开发的理想之选
Qwen 3.6 27B 被赞誉为强大的本地 AI 模型,在通用智能方面超越预期,适用于代码生成等实际任务,并能通过 llama.cpp 轻松运行。
搭配合适代理后,Qwen3.6-35B 可与云端模型一较高下
将 Qwen3.6-35B 与 little-coder 代理框架结合,在 Polyglot 编程基准上达到 78.7%,跻身公开榜前十,直追云端模型。
@DeRonin_: 我目前的本机AI配置:- 2x DGX Spark 链接 (256gb) > GLM 5.2 @ 2bit, 推理 + 代理循环 - Mac Studio M3 Ultr…
一位用户描述了他们完全本地的AI堆栈,使用多个硬件设备运行GLM、Qwen和Kimi等中国模型,声称相比GPT-5.5和Opus 4.8等前沿模型节省了87%的成本,同时提到了自托管视频生成的计划。
Qwen3.7:智能代理前沿(15分钟阅读)
阿里巴巴Qwen团队发布了Qwen3.7-Max,这是一款专有智能代理基础模型,在Terminal-Bench 2.0、SWE-Pro、GPQA Diamond等多个基准测试中取得最高分,并在多种代码环境中表现一致。
是否存在比Qwen3.5 4B更好的小型模型,用于快速的本地AI助手?
文章询问是否有比Qwen3.5 4B更好的小型AI模型,用于构建快速的本地助手,重点是在保持速度的同时改进对话、推理、多语言支持和工具调用等能力。