据DataBricks称,pi-coding-agent比CC/Codex便宜约2倍,GLM 5.2与Opus 4.8 high性能相当

Reddit r/LocalLLaMA 新闻

摘要

Databricks基准测试显示,pi-coding-agent比CC/Codex便宜高达2倍且通过率更高,GLM 5.2在编码任务上的表现与Opus 4.8持平。

https://preview.redd.it/3p60zyf8afch1.png?width=1840&format=png&auto=webp&s=10dcc90945f0db03352239579fca2132d0c90dfa https://www.databricks.com/blog/benchmarking-coding-agents-databricks-multi-million-line-codebase tl;dr pi-coding-agent(全用bash/最小工具)根据他们自己的全面基准测试,成本降低高达2倍,甚至通过率更高。GLM 5.2 高于 GPT 5.5 high 和 xhigh,与 Opus 4.8 high 持平。这是又一个“在我们的用例中”类型的基准测试,但它来自 DBRX,他们过去确实训练过相当大的LLM,我认为他们知道自己在做什么。我认为他们的分析有道理,而且 GLM 5.2 确实在大多数编码任务中感觉与 Opus 4.6/4.8 不相上下(尽管我只做逐步的手把手任务,而非带有许多子代理的完全自动化),在通用聊天中略低于 Opus 4.6/4.8。YMMV。我能想到的一个注意事项是,CC的前缀还包含像 Playwright 这样的内置工具,这对于视觉任务或新兴(更高级)任务(如游戏代理)通常很重要,而且 GLM 不原生支持图像输入。
查看原文

相似文章

Pi Coding Agent

Product Hunt

Pi Coding Agent 是一个可自定义的编码代理构建工具,现已在 Product Hunt 上发布。