Claude、Codex 和 Cursor 选择了哪些工具?我们测量了1.7万次运行以找出答案

Hacker News Top 新闻

摘要

一项研究测量了16,893个会话,以分析像 Claude Code、Codex 和 Cursor 这样的AI编码代理如何选择工具(如数据库),发现在不同背景下推荐结果具有一致性。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/09/04 00:01

# Claude Code、Codex 和 Cursor 选择了哪些工具?我们测量了 16,893 个会话来找出答案。 来源:https://armature.tech/blog/which-tools-coding-agents-install 研究 免责声明:Armature 向开发者工具提供增长服务。本研究是我们关于如何影响编码代理选择并促使产品被选用的更广泛工作的一部分。 随着代理接管编码旅程中越来越多的环节,有一个特定环节是每个人都会外包给代理的,无论是没有软件背景的氛围程序员还是资深工程师:在现有代码库中为特定需求选择实施哪项服务。 让我们以选择数据库为例: - 一位氛围程序员构建了一个个人旅行应用,并意识到应用在每次连接时都会重置。他询问 Claude Code:> 我需要你将我在应用中输入的内容存储在某个地方,以便下次重新打开应用时仍然存在。Claude Code 分析了代码库,5 分钟后回答:> 你需要一个数据库,Neon 很适合,因为它有免费套餐、易于安装,而且不会像 Supabase 那样如果使用不频繁就暂停你的应用。用户接受了,代理完成了安装。搞定。 - 一位开发生产应用的资深工程师询问 Cursor:> 这个应用最好的数据库解决方案是什么,它需要有可预测的成本且完全托管。5 分钟后,结论相同,Neon 是推荐项,并清晰说明了竞争者为何不符合需求。工程师批准了,代理开始实施。 这实际上是我们进行的一项实验。两个沙箱环境,不同的代理,不同的代码库,不同的用户画像和提示词,却得出了相同的结论。因此我们思考:如果我们将其推广到其他工具类别,让上下文/代码库/用户画像更加多样化,结果会改变吗? 这是一个重要的问题,开发者希望知道他们能否信任代理对其真正需求的判断。但对于供应商来说,这更为重要,因为它们的生存将很快取决于被编码代理选中(去年四月,Vercel 分享道“超过 30% 的部署是由编码代理发起的,比六个月前增长了 1000%”(https://vercel.com/blog/agentic-infrastructure))。 这就是为什么我们决定有史以来最大规模地进行实验,以了解编码代理如何思考工具、如何发现和选择它们,以及最终每个类别中的赢家是谁。我们观察了近 17,000 个会话,涵盖不同类型的用户画像(例如,氛围程序员、初创公司的初级工程师、企业的资深开发者),涉及 1,163 个提示词变体、75 个代码库和 3 个编码代理(Claude Code、Codex、Cursor),它们实际实施方案,而不仅仅是推荐。 今天,我们分享一切:每个类别的汇总结果和排行榜,以及所有观察,甚至包括完整的追踪记录,包含用户提示、思考过程和代理应用的实际代码差异。 您可以立即开始在此处探索结果,或继续阅读下文的文章(https://armature.tech/blog/which-tools-coding-agents-install#article) ## 我们是如何具体执行所有这些实验的? ### 我们的代码库面板 我们首先对数千个公共 GitHub 代码库进行了分析,从中提取了编程语言与框架、第三方服务、部署平台、团队规模和代码库年龄的统计数据。由于科技初创公司比大型企业更有可能拥有开源代码库,且技术栈可能非常不同,我们随后根据公开可用数据对统计结果进行了去偏处理,以达到理想的面板分布。 然后,我们指派各种编码代理创建符合这些确切要求的真实代码库。最后,我们生成了一些变体,在这些变体中,我们删除了部分代码库以及其中的整个第三方服务实现,以便进行适当的无偏实验。 我们最终得到了 75 个代码库,使用 10 种语言,所有代码库都使用了虚构的公司名称、虚构的 git 历史、虚构的 API 密钥和真实的锁文件,这些锁文件经过了像 npm 这样的包管理器注册表的验证。 ### 真实世界的任务 每个实验都是在代码库内执行的真实任务,由以下 4 种画像之一提出: - 氛围程序员:只描述症状和理想状态,很少提及工具类别名称。 - 初级工程师:通常提及期望状态和类别名称。 - 资深工程师:对需求和需要避免的事项更为精确。 - 大型企业工程师:详细说明具体约束、合规性、采购流程等。 提示词通常简单直接,并针对每个实验进行了轻微定制(考虑了代码库和用户画像),但在 20%-25% 的情况下,我们测试了在提示词中添加特定提及内容,如成本或使用量,以测试它们对最终输出的影响。 我们最终得到了 1,163 个这样的变体:“现在我需要我们生成的每张发票都通过电子邮件发送给用户,并附上一条友好的消息,找到最佳解决方案并实施它。” ### 执行环境 每个实验都在专用的临时沙箱中运行。我们验证了沙箱的选择不会影响结论,但为了安全起见,我们决定在 3 个不同的沙箱提供商(即 E2B、Blaxel 和 Daytona)之间轮换。 ### “模拟人类”介入 由于现实世界的对话很少只有提示词和代理在没有中断的情况下持续朝着目标工作,我们决定使用一个“模拟人类”介入。我们通过一个由 *Gemini 3.7 Flash* 扮演的编排器实现了这一点。这使我们能够模拟更现实的场景,其中代理首先被要求分析代码库并推荐最佳解决方案。在这个阶段,模拟人类总是会选择排名第一的解决方案,或者要求编码代理选择最佳方案并实施。但我们注意到,如果一开始就要求实施而不提出任何问题,会偏向代理构建一切内部解决方案,因为它无法请求授权选择特定的第三方解决方案。添加这个“人类”介入减少了领导者和云平台原生解决方案的主导地位,呈现了更真实的画面。 例如,在对象存储实验中,Cloudflare R2 开始在代理过去总是使用 Amazon S3 的会话中获胜。 ### 我们的评判者 另一个 Gemini 3.7 Flash 实例用于分析会话。它的作用是双重的: - 评估一个会话根据一系列标准是否有效,例如,选择是否受到已“预选”提供商的代码库的偏置;是否真正选择了某个解决方案(对于可观测性,如果未与平台结合使用,它会拒绝仅使用 OpenTelemetry)。 - 识别提及的每个参与者,以及最终的赢家(查看对话和实际的代码差异)。 ## 那么我们学到了什么? 在这些 16,893 次运行中,我们首先保留了 51 个代码库和 18 个行业的 5,292 个会话,我们认为这些会话有效且可以发布。这并不意味着我们扔掉了其他 1 万多个会话,可能会在第二波分享。在第一波中,我们只提取了所有仍然埋藏在追踪记录中学习成果的一小部分,并将继续挖掘,以分享让我们感到惊讶以及对供应商和开发者有趣的内容。但从今天起,所有这些追踪记录都是公开的,因此您可以做同样的事情。以下是我们发现的 5 个初步观察。 ### 不同的编码代理使用不同的信息源,最终产生分歧。 - Cursor 在 2/3 的会话中基于网络做出决策。 - Codex 几乎总是使用网络搜索(94% 的会话),但在 10 次查询中有 9 次使用运算符如 `site:` 来专注于可信域名或深入研究特定解决方案(例如 `site:auth0.com password reset MFA social connections`)。 - Claude Code 主要依赖其先验知识,仅在约 30% 的情况下搜索网络。但当它搜索时,它浏览的页面数量是 Codex 的 3 倍。在沙箱等其先验知识较弱的新兴领域,它约 80% 的时间会搜索网络。 - 所有三个代理仅在 42% 的情况下选择相同的工具:例如,在语音代理类别中,Claude Code 选择 Twilio,而 Codex 选择 OpenAI Realtime API(👀),Cursor 选择了 Vapi。 - Claude Code 自行构建的频率几乎是 Codex 和 Cursor 的两倍(19% 对 10%)。 ### 代码库上下文是关键 - 在 4 个不同编程语言的代码库中,针对完全相同的请求,我们得到了 4 个不同的电子邮件服务提供商赢家:Resend 在 Typescript 代码库中获胜(51 次运行中的 22 次),Sendgrid 在 Python 代码库中(24 次中的 22 次),Postmark 在 Go 代码库中(24 次中的 20 次),Azure ACS 在 Java 代码库中(23 次中的 22 次)。 - Vercel 在 Typescript 代码库中获胜(自然地,甚至在 100% 的情况下当使用 NextJS 时),但在 Python 代码库中从未被推荐,在那里 Render 占主导地位。 ### 被提及不等于获胜 许多知名参与者几乎在每个对话中被提及但从未被选择。当然,在现实世界中,由于人为因素参与选择,你仍然期望其中一部分获胜,但有些结果令人震惊: - 在支付服务提供商领域,Paypal 被提及 139 次但从未被选择(Stripe 在这 139 个会话中赢得了 124 次)。Adyen 被提及 175 次,仅被选择 3 次,情况类似。 - LangChain 是被引用最多的框架,有 194 次提及,但仅被选择 4 次(!)。 - Netlify 被提及 152 次,作为部署平台被选择 6 次。 - Supabase 是被提及最多的数据库,有 242 次提及,但仍然被 Neon 大幅压制。 ### 供应商页面上的附加功能或细节可能扭转选择 - Mailgun 在代理读取其免费套餐中的“1 天保留期”后,经常输给 Postmark。 - Supabase 几乎总是因为捆绑定价中包含太多不必要的 BaaS 功能(身份验证、存储、实时功能)而失败,而代理只寻找数据库。 - 在我们 5,300 个会话中,有 388 个提到了平台管理开销,195 个提到了成本。在这些情况中有很大一部分,我们注意到这更多是由于信息呈现方式,而非实际具有排除性的数据点。 ### 一些市场被压倒性主导,一些则竞争激烈 - Stripe 在 9 成的情况下获胜,仅在某些欧盟监管案例中失败,在这些案例中,一些参与者更为专业(Paddle、Mollie)。 - Neon 在 66% 的情况下获胜,其次是云平台的原生解决方案(Azure、AWS)。 - 对于文件存储,Amazon S3 以 45% 占据主导地位,其次是 Azure 和 GCP,各占 20%。 - Resend 和 Postmark 领先,安装率分别为 35.6% 和 27.4%。 这仅仅是我们实验的开始,我们将继续发布关于编码代理如何选择第三方服务的见解。我们还计划进行全新的实验,因此我们希望了解您仍有哪些问题,请随时通过 [[email protected]](mailto:[email protected]) 联系我们。 ## 每个行业的赢家是谁?为什么? 为了回答这些迫切的问题,我们在下面的排行榜中展示了我们所有的结果,包括分析、关键学习成果和完整的追踪记录!

相似文章

我用 Claude Code 和 Codex 将同一项浏览器任务运行了 216 次。一个脚本胜过了所有智能体的运行表现,而最佳浏览器工具则取决于所用的智能体

Reddit r/AI_Agents

一项包含 216 次运行的基准测试,在一项浏览器任务中比较了 Claude Code(Opus 5.5)和 Codex(GPT 6 Astra)通过 CLI、技能和 MCP 使用 agent-browser、Playwright 和 Chrome DevTools 的表现;所有运行均通过测试,工具选择因智能体而异,而一个生成的 Python 脚本在速度和成本方面都远胜于每一次智能体运行。