你决定你的代理绝不应该自行采取的一个行动是什么?

Reddit r/AI_Agents 新闻

摘要

一个讨论帖,邀请AI社区分享他们绝不允许代理自主执行的一个行动,强调了不可逆操作的风险,例如强制推送到主分支或部署到生产环境。

一个能够读取日志、搜索代码库或起草回复的代理是很容易接受的。一旦它可以推送到主分支、运行数据库迁移或触发部署,情况就完全不同了。许多设置仍然将这两种情况都视为“模型可以调用的工具”。真正造成伤害的是那些无法撤销的操作。等到在追踪中出现时,分支已经被强制推送,部署已经上线。因此,对于在真实流量中运行代理的人,有几个问题: - 你决定你的代理绝不应该自行采取的一个行动是什么? - 它做了什么让你添加这条规则? - 你目前如何强制执行:硬性的允许/拒绝列表、在调用前需要人工批准、由另一个模型先检查、还是其他方法?
查看原文

相似文章