AI编程智能体可以编写代码，那么接下来发生的事情应该由谁来控制？

Reddit r/AI_Agents 新闻
ai-coding-agents control-systems human-in-the-loop software-engineering ai-ethics

摘要

本文探讨了在代码更改后控制AI编程智能体的挑战，并提出一个工程控制平面来处理权限、验证和人工审批。

在构建围绕自主编程智能体的基础设施时，我一直在思考一些问题。有趣的问题似乎不再仅仅是智能体能否修改代码仓库，而是它做出更改后会发生什么。智能体可以无限重试，做出技术上有效但错误的更改，操作权限过大，通过一个验证步骤而失败另一个，或者达到一个人类应该做出下一个决定的地步。所以我在想：AI编程智能体是否应该有权将更改直接应用到共享/生产环境？或者是否应该有一个独立的控制层围绕它处理诸如：智能体身份、能力/权限、任务边界、验证、重试/恢复、可审计性、人工审批等事项？我一直在围绕这个问题构建，架构不断推动我走向为智能体设计工程控制平面的想法。好奇这里的人们目前是如何处理这个的。你在哪里划定智能体自主性与工程权限之间的边界？
查看原文

相似文章

编码代理应该被允许做什么？

Reddit r/AI_Agents

本文探讨了在软件项目中控制编码代理访问权限的安全问题和最佳实践，特别是涉及敏感数据和操作方面。