每在AI编码工具上花费1美元,只有0.18美元能进入生产环境。我们分析了超过100万个PR,以找出其余资金的去向。
摘要
根据对超过100万个拉取请求的研究发现,每在AI编码工具上花费1美元,只有0.18美元能进入生产环境,其余资金用于修复错误、返工和代码审查。分析显示,虽然PR数量增长了2.6倍,但被撤回的PR增长了3.7倍,表明失败比产出增长得更快。
[tokenmaxxing 是新的 AI 垃圾内容](https://preview.redd.it/sxj0cdhfu45h1.png?width=2364&format=png&auto=webp&s=202fae8e87fea4ac8dd5a2900f1114d64d5055d3)
从我们公司账户发布,所以惯例声明:我们构建代码审查和可靠性工具,正是通过这种访问权限获得了这些数据。我们提取了2,444个工程组织的超过100万个拉取请求,以回答一个几乎没人衡量的问:当一个团队在AI编码工具上投入资金时,其中有多少真正转化为交付的产品?简要版本:
* 每1美元中只有0.18美元到达用户手中。另外0.82美元用于修复错误、返工和毫无作用的审查。
* 在中位数组织中,44%的PR是响应性工作,而非新功能。
* 每周编写的代码中有四分之一在本周结束前被删除。
* 在12周内,PR数量增长了2.6倍,而被撤回的PR增长了3.7倍。失败的增长速度超过产出。
* 大约一半的PR在一小时内获得批准。
我们的看法:AI让生成代码变得便宜,但对合并后的循环没有任何作用,因此维护成本持续累积。我很好奇这是否与大家在自己的团队中看到的情况一致,还是我们的样本存在偏差。包含图表、百分位数细分和方法的完整报告:[https://research.entelligence.ai/](https://research.entelligence.ai/)
相似文章
@rohanpaul_ai:MIT 研究。代码量激增 300%,但产出仅增长 30%:AI 红利遭遇尴尬现实。他们……
一项针对超过 100,000 名 GitHub 开发者的 MIT 研究发现,AI 编码工具使代码量增加高达 300%,但仅使已发布软件增加 30%,凸显了人工审核与集成的瓶颈。
AI生产力数据与我团队实际所见不符
作者管理一个小型开发团队,分享了使用AI编码工具的现实混合结果:它们加快了样板代码和入门流程,但在复杂问题上会产生自信的错误答案,并增加了代码审查工作量,产生的净增益微乎其微,远低于常被引用的10倍改进。
@IntuitMachine:你的AI编程代理仅修复一个bug就烧掉2美元。你以为这是“廉价自动化”。以下是16,000次生产运行揭示的真相…
对AI编程代理成本的分析显示,代理工作流消耗的token数可达简单ChatGPT调用的3500倍,大部分浪费来自冗余的上下文加载。文章建议追踪重复的文件操作并使用高效模型降低成本。
FT:AI编程热潮令开源维护者不堪重负
《金融时报》报道称,AI编程热潮正用低质量的AI生成贡献淹没开源维护者,消耗着整个生态系统。具体证据包括cURL关闭其漏洞奖励计划、Ghostty禁止AI代码、tldraw自动关闭PR,以及研究表明贡献者参与度下降。
构建了一个AI PR审核工作流,可生成实际修复PR而不仅仅是评论
作者构建了一个AI驱动的PR审核工作流,可生成实际修复PR而不仅仅是评论,声称比CodeRabbit便宜6倍,且在处理大型PR时更准确。