AI编码代理是否遇到了瓶颈，还是我们衡量它们的方式出了问题？

Reddit r/AI_Agents 新闻
ai-agents coding-agents benchmarks software-engineering human-oversight productivity

摘要

本文探讨了AI编码代理的炒作与现实之间的差距，认为它们对于加速工作流程的某些部分有效，但在架构、调试和审查方面仍需人工监督，并质疑当前基准测试是否衡量了正确的东西。

我不断看到三种关于AI代理的讨论碰撞在一起：大公司表示代理的进展比预期的要慢；新的基准测试试图像高级工程师一样评判代理；开发者表示代理编码有效，但需要强约束、日志记录、审查和清理。我目前的看法是：炒作让人以为代理会取代工程工作。实际上，它们似乎更擅长加速工作流程的某些部分，但前提是人类仍然掌控架构、上下文、调试和审查。令人不安的是，代理失败通常意味着代理周围的工作流程是模糊的。因此，我很好奇：在生产或严肃的副项目中，什么对你真正有效？代理在哪里仍然失败？像SWE-Bench这样的基准测试是否衡量了正确的东西？真正的技能现在是编码，还是很好地指导/审查代理？我对超出简单演示的例子特别感兴趣：多文件更改、调试、测试、重构、依赖选择以及长期运行的任务。代理是表现不佳，还是我们在建立护栏之前就期望了自主性？
查看原文

相似文章

编码代理是否暴露了我们规格的糟糕程度？

Reddit r/AI_Agents

文章认为，AI编码代理的许多失败源于模糊的规格，而不仅仅是模型弱点。它建议，编写更清晰、更详细的工作包可能是使用编码代理的开发人员的下一个基本技能。