AI编码代理是否遇到了瓶颈,还是我们衡量它们的方式出了问题?

Reddit r/AI_Agents 新闻

摘要

本文探讨了AI编码代理的炒作与现实之间的差距,认为它们对于加速工作流程的某些部分有效,但在架构、调试和审查方面仍需人工监督,并质疑当前基准测试是否衡量了正确的东西。

我不断看到三种关于AI代理的讨论碰撞在一起:大公司表示代理的进展比预期的要慢;新的基准测试试图像高级工程师一样评判代理;开发者表示代理编码有效,但需要强约束、日志记录、审查和清理。我目前的看法是:炒作让人以为代理会取代工程工作。实际上,它们似乎更擅长加速工作流程的某些部分,但前提是人类仍然掌控架构、上下文、调试和审查。令人不安的是,代理失败通常意味着代理周围的工作流程是模糊的。因此,我很好奇:在生产或严肃的副项目中,什么对你真正有效?代理在哪里仍然失败?像SWE-Bench这样的基准测试是否衡量了正确的东西?真正的技能现在是编码,还是很好地指导/审查代理?我对超出简单演示的例子特别感兴趣:多文件更改、调试、测试、重构、依赖选择以及长期运行的任务。代理是表现不佳,还是我们在建立护栏之前就期望了自主性?
查看原文

相似文章

AI生产力数据与我团队实际所见不符

Reddit r/artificial

作者管理一个小型开发团队,分享了使用AI编码工具的现实混合结果:它们加快了样板代码和入门流程,但在复杂问题上会产生自信的错误答案,并增加了代码审查工作量,产生的净增益微乎其微,远低于常被引用的10倍改进。

AI 编码代理生成了更多代码,却没有生成更多软件

Ars Technica

## Ars Technica 报道:研究显示 AI 编码代理提升代码产出,但拖慢整体交付速度 Ars Technica 报道了一项研究结果,该研究显示,AI 编码代理(AI coding agents)虽然能够提升代码产出量,却拖慢了整体交付速度。具体表现为: - 代码审查(pull request review)时间增加 **49%** - 要求修改(changes requested)的比例几乎翻倍 - 目前尚未发现可归因于 AI 的显著就业变化 研究发现,AI 代理虽然让开发者更快地产出代码,但由于生成的代码量大幅增加,审查人员面临的审查负担也随之加重,导致整体交付周期反而被拉长。与此同时,尽管业界对 AI 取代开发者岗位的讨论甚嚣尘上,但截至目前,并没有显著的就业数据变化能够直接归因于 AI 技术的应用。