我认为我们低估了编程智能体实际需要多少控制

AI编程智能体在编写代码方面变得非常出色。你可以描述一个功能，让智能体访问你的仓库，并让它修改文件、运行命令、安装包、编写测试，并持续迭代直到有效。这令人印象深刻。但我认为还有一个问题没有得到足够重视：是什么阻止智能体以我们不希望的方式解决问题？例如，智能体可能：生成可行但违反架构的代码、因为任务看似简单而跳过测试、引入不必要的依赖、更改无关文件、为了通过测试而非可维护性进行优化、在没有明确解释的情况下进行安全敏感更改。此时，我认为给模型更好的提示是不够的。我宁愿为智能体定义明确的规则：它能更改什么、它必须遵循哪些约定、它必须编写哪些测试、它在完成前必须验证什么。以及，重要的是，它到底更改了什么以及为什么。对我来说，有趣的转变不仅仅是：而是：也许下一代编程智能体需要更少的自由，而不是更多。你在自己的编程智能体中是如何处理这个问题的？