据DataBricks称,pi-coding-agent比CC/Codex便宜约2倍,GLM 5.2与Opus 4.8 high性能相当
摘要
Databricks基准测试显示,pi-coding-agent比CC/Codex便宜高达2倍且通过率更高,GLM 5.2在编码任务上的表现与Opus 4.8持平。
https://preview.redd.it/3p60zyf8afch1.png?width=1840&format=png&auto=webp&s=10dcc90945f0db03352239579fca2132d0c90dfa https://www.databricks.com/blog/benchmarking-coding-agents-databricks-multi-million-line-codebase tl;dr pi-coding-agent(全用bash/最小工具)根据他们自己的全面基准测试,成本降低高达2倍,甚至通过率更高。GLM 5.2 高于 GPT 5.5 high 和 xhigh,与 Opus 4.8 high 持平。这是又一个“在我们的用例中”类型的基准测试,但它来自 DBRX,他们过去确实训练过相当大的LLM,我认为他们知道自己在做什么。我认为他们的分析有道理,而且 GLM 5.2 确实在大多数编码任务中感觉与 Opus 4.6/4.8 不相上下(尽管我只做逐步的手把手任务,而非带有许多子代理的完全自动化),在通用聊天中略低于 Opus 4.6/4.8。YMMV。我能想到的一个注意事项是,CC的前缀还包含像 Playwright 这样的内置工具,这对于视觉任务或新兴(更高级)任务(如游戏代理)通常很重要,而且 GLM 不原生支持图像输入。
相似文章
@MaximeRivest: Pi 编码代理在其价格上通常是最优的。Pi 的系统提示非常简短,只有4个工具。我的 Pi 系统...
Maxime Rivest 分享了使用自定义系统提示优化 Pi 编码代理使用的技巧,Matei Zaharia 讨论了在 Databricks 对编码代理进行基准测试时发现的令人惊讶的结果。
在 Databricks 数百万行代码库上评估编码智能体
Databricks 分享了在其数百万行代码库上评估编码智能体的内部基准测试结果,揭示了能力层级和成本性能权衡,并强调了像 GLM 5.2 这样的开源模型的有效性。
@rohanpaul_ai: 令人惊讶的好消息,开源编码模型,而且还有很多隐藏的机会可以降低成本……
Databricks 测试了开源编码模型 GLM-5.2,发现它在真实企业代码任务中可与 Claude Opus 4.8 等顶级闭源模型竞争,同时成本更低(每任务 1.28 美元对 1.94 美元)。评估还强调了 Pi 这个框架,它通过减少每轮发送的上下文来降低成本。
GLM-5.2 在 45 个 terminal-bench 编码代理任务上与 Claude Opus 持平,成本不到一半(内含完整方法及失败日志)
GLM-5.2 以更低成本在 45 个编码代理任务上与 Claude Opus 持平,其中 43 个任务结果完全相同。
Pi Coding Agent
Pi Coding Agent 是一个可自定义的编码代理构建工具,现已在 Product Hunt 上发布。