十月最佳模型评测:我让本月最热门的 6 款模型执行了相同的智能体任务。被炒得最火的那款,5 项只通过了 1 项
摘要
一项实测评测让十月份最热门的六款 AI 模型完成五项小型编程智能体任务,结果发现,各大主流模型均全部通过,但成本相差 30 倍,而备受追捧的新模型 Flint 只通过了五项中的一项。
十月是模型领域热闹非凡的一个月。DeepSeek、Google、OpenAI、Anthropic 和 Moonshot 都发布了新东西,Flint 则突然冒了出来,凭借一项 SWE-bench 分数引发了大家的热议。我一直听人提起的就是这六款,所以趁着这个月即将结束,我把它们都测了一遍。测试配置:Atomic Agent 0.6.13,云端模式,开启自动批准,全部 6 款模型均通过 OpenRouter 接入,每项任务都在 macOS 沙盒内的全新文件夹中进行。每款模型都要完成 5 项小型编程任务,每项都藏着一个陷阱:YAML 覆盖配置、在隐藏数据上重新运行统计脚本、修复 slugify、统计 ERROR 日志行,以及在一个相似函数旁进行重命名。每项任务限时 10 分钟,每款模型只跑一轮。模型 发布日期 通过数 每项任务耗时中位数 全部 5 项任务的费用 DeepSeek V4.1 Flash 10月17日 5/5 14秒 0.02美元 Claude Haiku 5.5 10月7日 5/5 12秒 0.035美元 Gemini 4 Argon 10月13日 5/5 43秒 0.47美元 Kimi K3.1 Pro 10月23日 5/5 40秒 0.59美元 GPT-6.1 Terra 10月26日 5/5 18秒 0.65美元 Recursive Flint(免费档)10月21日 1/5 8分钟 免费 样本很小,所以这只是初步体验,并非最终排名。所有大模型都通过了全部任务。但收费差别很大:同样的 5 项任务,DeepSeek V4.1 Flash 花了 2 美分,GPT-6.1 Terra 花了 65 美分。同样全部通过,费用却相差约 30 倍,而且 DeepSeek 还更快。Haiku 5.5 则是另一位低调的赢家:在所有模型中速度最快,费用还不到 4 美分。Flint Flint 就是最近大家一直在发帖讨论的那款模型,厂商宣称它在 SWE-bench Verified 上得到了 74.2 分。在我的测试中,它通过了 YAML 任务,但其他模型几秒就能完成的事情,它花了 8 分钟。它算错了统计结果,没完成重命名,另外两项任务则耗尽了时间。公平地说,那个下午免费端点一直断断续续地宕机(“no upstreams available”,即“没有可用的上游服务”),所以它可能运行在一台不堪重负的服务器上。我尝试通过另一个智能体(Pi)重新运行相同任务,以排除我这边配置的问题,但端点一直返回 503 错误,因此这次复核始终没能得到一次公平的测试机会。如果有人在本地运行 Flint,我很想看看你们的数据。我的收获 智能体在每一步都保持提示词的开头完全一致,因此每款模型 79% 到 83% 的输入都命中了提示词缓存,这也是连那些昂贵模型的费用都能控制在一美元以内的重要原因。每一步都有日志,所以我才能判断 Flint 是卡住了,而不只是速度慢。十月发布的这些模型,你日常实际在用哪一款?
相似文章
在生产环境中使用定时任务运行智能体一个月:四个出问题的点,无一归咎于模型
作者分享了在生产环境中使用定时任务运行AI智能体一个月时遇到的四个机械故障,强调所有问题都源于设置问题,而非模型缺陷。
我花了一天时间测试了所有主流AI智能体,这就是最优秀的那个
这是一篇来自 WIRED 的实测评测,对比了六款主流常驻AI智能体——Meta 的 Muse、OpenAI 的 Dots 和 Instinct、Anthropic 的 Claude Duet、Google 的 Gemini Spark 以及 xAI 的 Grok Bot。经过一天的测试,文章详细分析了它们的定价、优势与不足,并展示了这项技术相比去年取得的进步。
@omarsar0: 结果很有趣。这就是为什么我预计更多智能体工作负载将运行在混合模型上。来自@TheUnbiasedCo的Pareto 26.9...
文章讨论了一项性能评估,其中混合AI模型Pareto 26.9在智能体任务中与GPT-6 Astra并列第一,每个成功任务的成本约为其他模型的三分之一,并且完成速度快于其他模型,这表明混合模型在智能体工作负载方面具有潜力。
本季度构建了6个AI代理。模型从未成为瓶颈,真正持续导致失败的是其他问题。
构建6个AI代理的经验表明,模型性能并非瓶颈;相反,其他实际问题持续导致失败。
我们重新规范地运行了基准测试。15个模型、3,595条回复,以及我们上次的两个结果未能经受住验证
本文详细描述了对15个模型进行的AI基准测试重新运行,纠正了先前的错误,并分析了多语言定价任务中的准确性、成本和写作质量等因素。