AI代理应在何时停止自主性？

Reddit r/AI_Agents 新闻
ai-agents autonomy permissions coding-agents software-development human-approval traceability

摘要

本文讨论了在软件开发中管理AI代理自主性的挑战，引发了关于权限、可追溯性和人类监督角色的思考。

最近我在使用编程代理构建时，一直在思考这个问题。赋予代理编写代码、运行测试、提交更改和开启PR的权限似乎相当合理。但随后你开始添加更多代理。一个代理可以生成另一个代理。那个代理获得工具。这些工具可以修改仓库。另一个代理审查工作。最终，你得到一个行动链，其中不再明显是谁实际被授权执行什么操作。对我来说，有趣的部分并非真的是'代理能否自主编码？'而是：如何防止自主性演变为权威？以下是我好奇的几件事：子代理是否应从父代理继承任何权限？每个代理是否应有自己的身份？如何追踪哪个代理实际进行了更改？人类批准应在何时成为强制性的？GitHub分支保护是否足够，还是缺少一个上层？在代理速度开始下降之前，添加多少授权开销是值得的？我一直在自己的工作中试验这个问题，使用的代理越多，我越不认为生成代码是难题。难题是保持代码周围的边界完整。你们今天是如何处理这个的？
查看原文

相似文章

AI代理应被允许自行决定哪些权限？

Reddit r/AI_Agents

本文讨论了AI代理不应自行授权行动的原则，并探讨了在允许模型独立决策时如何划定界限，强调了审批系统和策略等外部控制手段。