AI编码代理是否遇到了瓶颈,还是我们衡量它们的方式出了问题?
摘要
本文探讨了AI编码代理的炒作与现实之间的差距,认为它们对于加速工作流程的某些部分有效,但在架构、调试和审查方面仍需人工监督,并质疑当前基准测试是否衡量了正确的东西。
我不断看到三种关于AI代理的讨论碰撞在一起:大公司表示代理的进展比预期的要慢;新的基准测试试图像高级工程师一样评判代理;开发者表示代理编码有效,但需要强约束、日志记录、审查和清理。我目前的看法是:炒作让人以为代理会取代工程工作。实际上,它们似乎更擅长加速工作流程的某些部分,但前提是人类仍然掌控架构、上下文、调试和审查。令人不安的是,代理失败通常意味着代理周围的工作流程是模糊的。因此,我很好奇:在生产或严肃的副项目中,什么对你真正有效?代理在哪里仍然失败?像SWE-Bench这样的基准测试是否衡量了正确的东西?真正的技能现在是编码,还是很好地指导/审查代理?我对超出简单演示的例子特别感兴趣:多文件更改、调试、测试、重构、依赖选择以及长期运行的任务。代理是表现不佳,还是我们在建立护栏之前就期望了自主性?
相似文章
AI代理真的表现良好吗,还是我们过度吹嘘了它们?
探讨AI代理在现实世界中的有效性,重点关注生产环境中的挑战,如效率低下和错误率,并邀请社区分享经验。
没有人对AI编码代理进行足够测试
本文讨论了AI编码代理测试不足的问题,强调了在确保其在软件开发中的可靠性和安全性方面存在关键差距。
AI编程工具是在让开发者变得更好,还是仅仅加速了糟糕的判断?
一篇观点文章探讨了像Claude Code和Copilot这样的AI编程工具是否真正提升了开发者的技能,还是仅仅加速了有缺陷的决策,并强调了需要新的指标来评估工程中的人机协作。
AI生产力数据与我团队实际所见不符
作者管理一个小型开发团队,分享了使用AI编码工具的现实混合结果:它们加快了样板代码和入门流程,但在复杂问题上会产生自信的错误答案,并增加了代码审查工作量,产生的净增益微乎其微,远低于常被引用的10倍改进。
AI 编码代理生成了更多代码,却没有生成更多软件
## Ars Technica 报道:研究显示 AI 编码代理提升代码产出,但拖慢整体交付速度 Ars Technica 报道了一项研究结果,该研究显示,AI 编码代理(AI coding agents)虽然能够提升代码产出量,却拖慢了整体交付速度。具体表现为: - 代码审查(pull request review)时间增加 **49%** - 要求修改(changes requested)的比例几乎翻倍 - 目前尚未发现可归因于 AI 的显著就业变化 研究发现,AI 代理虽然让开发者更快地产出代码,但由于生成的代码量大幅增加,审查人员面临的审查负担也随之加重,导致整体交付周期反而被拉长。与此同时,尽管业界对 AI 取代开发者岗位的讨论甚嚣尘上,但截至目前,并没有显著的就业数据变化能够直接归因于 AI 技术的应用。