我用 Claude Code 和 Codex 将同一项浏览器任务运行了 216 次。一个脚本胜过了所有智能体的运行表现,而最佳浏览器工具则取决于所用的智能体

Reddit r/AI_Agents 新闻

摘要

一项包含 216 次运行的基准测试,在一项浏览器任务中比较了 Claude Code(Opus 5.5)和 Codex(GPT 6 Astra)通过 CLI、技能和 MCP 使用 agent-browser、Playwright 和 Chrome DevTools 的表现;所有运行均通过测试,工具选择因智能体而异,而一个生成的 Python 脚本在速度和成本方面都远胜于每一次智能体运行。

我想弄清楚哪种浏览工具最适合智能体,于是让 Claude Code(Opus 5.5)和 Codex(GPT 6 Astra)在一个企业 Web 应用中完成同一项任务。它们需要选择正确的部门,在新标签页中打开一份报表并检查,读取并保存其中的 500 行数据,关闭标签页,然后返回起始页面。我测试了 agent-browser、Playwright 和 Chrome DevTools,每种工具都测试了三种使用方式:通过 CLI 并配合技能、不配合技能直接使用 CLI,以及通过 MCP。每种配置运行 12 次,分布在 macOS、WSL 和 Windows 上,每次都使用全新会话。216 次运行全部通过。既然每次都成功,我会根据 token 用量和速度来选择,而答案取决于所用的智能体。以下是每次运行的中位数:智能体 工具 连接方式 输入 token 数 成本 耗时 Claude Code agent-browser CLI + 技能 652K $0.48 104秒 Claude Code agent-browser CLI,不使用技能 304K $0.28 96秒 Claude Code agent-browser MCP 1.59M $1.02 106秒 Claude Code Playwright CLI + 技能 332K $0.32 90秒 Claude Code Playwright CLI,不使用技能 353K $0.33 99秒 Claude Code Playwright MCP 513K $0.41 98秒 Claude Code Chrome DevTools CLI + 技能 341K $0.32 97秒 Claude Code Chrome DevTools CLI,不使用技能 348K $0.32 98秒 Claude Code Chrome DevTools MCP 517K $0.40 72秒 Codex agent-browser CLI + 技能 426K $0.91 91秒 Codex agent-browser CLI,不使用技能 289K $0.68 78秒 Codex agent-browser MCP 414K $0.89 72秒 Codex Playwright CLI + 技能 318K $0.80 102秒 Codex Playwright CLI,不使用技能 243K $0.66 91秒 Codex Playwright MCP 261K $0.62 88秒 Codex Chrome DevTools CLI + 技能 197K $0.53 75秒 Codex Chrome DevTools CLI,不使用技能 233K $0.58 86秒 Codex Chrome DevTools MCP 238K $0.60 81秒 对于 Codex,Chrome DevTools 的 CLI 配合其技能,在这两方面都表现不错。对于 Claude Code,则需要有所取舍。每个模型都只在一种智能体运行框架中运行,因此我无法区分模型本身和运行框架各自的影响。智能体与脚本之间的差距要大得多。Claude Code 根据先前一次会话的笔记,编写了一个通过 CDP 操作浏览器的 Python 脚本。在 258 次运行中,它的耗时中位数为 1.5 秒,即使最慢的一次(10.3 秒),也比智能体最快的一次(59 秒)更快。这些时间不包括编写脚本的时间。当我故意破坏脚本时,运行脚本的会话自行完成了任务,并提出了修复建议,这些修复随后被纳入脚本。因此,对于需要重复执行的任务,我会让智能体先摸清流程,再运行脚本,等脚本出问题时再让智能体介入。这只是在固定版本下、一个 Web 应用中的一项任务,换个任务,各工具的排名可能就会不同。应用名称和报表内容不公开,因此你无法完全复现测试。成本分别采用 Claude Code 按 API 价格报告的费用,以及根据 Codex 的 token 用量按公开标价计算的费用,这与订阅实际收取的费用不同。同一行可能混合了不同次运行的数据,因为每项指标的中位数都是单独计算的。包含每次运行记录的完整文章在评论区。如果你使用智能体处理重复任务,你会让智能体持续参与,还是把工作交给脚本?
查看原文

相似文章

[后续] 单智能体还是多智能体?我用上个帖子中的 4 种配置运行了同一个构建任务

Reddit r/AI_Agents

作者让四种智能体配置执行了相同的 Python 构建任务——Claude Code 单智能体、Codex CLI 单智能体、Paseo 主导者/工作者团队,以及 Atomic Agent Fusion 模式——并比较了速度、隐藏测试结果和 API 成本。单智能体速度快,且全部通过测试;而编排的主要优势在于通过本地工作模型降低成本,而非提升速度。