相同模型,相同提示词,两个代理框架:45/50 vs 43/50
摘要
文章对相同的deepseek-v4-flash模型上的两个开源编码代理进行了基准测试,发现任务成功率相似,但在性能指标上存在显著差异,并且一个代理的错误处理中存在一个关键漏洞。
通过两个开源编码代理运行了从合并PR重建的50个任务,均基于deepseek-v4-flash模型。相同模型,相同的系统提示词通过一个在漂移时失败的同步脚本写入两个配置,相同的密封容器,两者均无网络访问。由每个项目自身的保留测试加上一个3模型评审面板进行评分。45/50 对 43/50,评审平均分 88.6 对 85.6。成本相差无几,整个运行分别为 $1.59 和 $1.53。五十个案例中两个案例的差异不足以作为唯一依据。更有趣的差异在于挂钟时间,这让我意识到不能盲目相信自己的平均值。在平均值上,我们的系统每个案例看起来慢了2分钟。在中位数上,分别为5.5对7.0,并且逐个案例比较,我们的系统在50个中有31个更快。整个平均差距源于一个单一案例,一个两个代理都失败的React水合错误,我们的系统运行了271分钟和1322步后放弃,而另一个在63步时退出。我们的无进展检测显然没有触发。这是一个真正的漏洞,而非测量误差,也是本次运行中最差的单个结果。几乎相同的花费也换来了非常不同的工作形态:输出令牌分别为1.5M和573K,推理令牌分别为1.0M和1.3M。披露:我们的系统是octomind,因此这是我们的基准测试和我们的偏见。仓库链接在评论中,按照子版块规则。发布主要是因为我没有看到很多相同模型的框架比较,我想知道是否有人在我们未拥有的基准测试上运行过。
相似文章
同一个Agent,同一个提示,不同运行结果。你选择哪个输出上线?
作者注意到,在不同会话中用同一个Claude Code运行相同任务,会产生不同的决策模式,导致难以选择可以安全上线的输出,并指出目前缺乏评估Agent决策档案的工具。
你的框架辜负了你的智能体,但却没有基准来证明这一点
本文强调了缺乏用于评估智能体框架可靠性的基准测试,重点探讨了与模型本身相比,MCP 实现如何更好地处理工具调用和错误。
编码代理中的脚手架效应:工具选择作为编码代理评估中的隐藏变量
本文表明,代理工具框架(脚手架)的选择可能导致每个已解决任务的令牌数差异高达40倍,而模型通过率变化很小,这表明在以人为本的编码代理评估中,应该比较工具框架-模型对,而非仅比较模型。
相同模型,相同提示词,4个不同的智能体
探讨了不同的智能体架构如何从相同的底层模型和提示词中产生不同的输出,强调了智能体设计对大型语言模型行为的影响。
同一模型,不同框架:性能波动高达30-50个百分点。但团队依然仅凭模型名称来挑选智能体。
文章指出,智能体框架对性能的影响(30-50个百分点的波动)远大于模型选择本身,认为团队应关注实例级别的验证,而不仅仅盯着模型名称。