AI生产力数据与我团队实际所见不符
摘要
作者管理一个小型开发团队,分享了使用AI编码工具的现实混合结果:它们加快了样板代码和入门流程,但在复杂问题上会产生自信的错误答案,并增加了代码审查工作量,产生的净增益微乎其微,远低于常被引用的10倍改进。
我协助管理一个小型开发团队,过去一年我一直在试图弄清楚这些工具到底是让我们更快了,还是只是让我们感觉更快了。目前还不太确定。收获是真实但乏味的。样板代码、测试脚手架、第五个CRUD端点——基本上和前四个只是名字不同。入职也变得稍微容易了一些,因为初级开发者可以用AI助手问那些他们不好意思第十次问我的问题。但还有些事情需要你真正理解代码为什么在那里。竞态条件、两个服务之间如何通信、清理两年前别人留下的烂摊子。在这些问题上,AI助手往往自信满满但错误频出,而自信又错误的答案实际上比慢吞吞更糟糕。没人提醒我的是审查环节。我们现在写代码更快了,所以有更多代码需要阅读,而阅读代码比编写代码更难。我们交付过能编译、通过lint检查、通过测试的代码,但仍然是悄悄错了的东西,因为“写”代码的人在过程中已经心不在焉了。所以,净收益可能为正?但远不及人们一直在推销的10倍效率提升。很好奇其他在团队中使用(而非周末项目)的人真实情况如何。它在哪些地方真正有帮助,又在哪些地方只是换了个地方创造了新工作?
相似文章
AI生产率差距
对软件工程中“AI生产率差距”的分析,认为AI主要加快了开发人员工作中编码部分的速度,而设计、评审和会议等其他关键任务基本未变,导致整体收益仅略有提升。报告还指出,初级员工比高级员工受益更多,这与一些领导者的假设相反。
AI生产力的诚实数学
一项对夸大AI生产力主张的批判性分析,引用了严谨的研究表明,与供应商经常声称的5-10倍相比,实际收益只有15-40%,并警告不要盲目接受这种炒作。
这会不会是有些人编码生产力大幅提升,而其他人几乎毫无收获的原因?
本文探讨了为什么一些开发者从AI辅助中获得了显著的编码生产力提升,而另一些人几乎看不到任何好处,并探索了可能解释这种差异的因素。
AI编码代理是否遇到了瓶颈,还是我们衡量它们的方式出了问题?
本文探讨了AI编码代理的炒作与现实之间的差距,认为它们对于加速工作流程的某些部分有效,但在架构、调试和审查方面仍需人工监督,并质疑当前基准测试是否衡量了正确的东西。
@rohanpaul_ai:MIT 研究。代码量激增 300%,但产出仅增长 30%:AI 红利遭遇尴尬现实。他们……
一项针对超过 100,000 名 GitHub 开发者的 MIT 研究发现,AI 编码工具使代码量增加高达 300%,但仅使已发布软件增加 30%,凸显了人工审核与集成的瓶颈。