你决定你的代理绝不应该自行采取的一个行动是什么?
摘要
一个讨论帖,邀请AI社区分享他们绝不允许代理自主执行的一个行动,强调了不可逆操作的风险,例如强制推送到主分支或部署到生产环境。
一个能够读取日志、搜索代码库或起草回复的代理是很容易接受的。一旦它可以推送到主分支、运行数据库迁移或触发部署,情况就完全不同了。许多设置仍然将这两种情况都视为“模型可以调用的工具”。真正造成伤害的是那些无法撤销的操作。等到在追踪中出现时,分支已经被强制推送,部署已经上线。因此,对于在真实流量中运行代理的人,有几个问题:
- 你决定你的代理绝不应该自行采取的一个行动是什么?
- 它做了什么让你添加这条规则?
- 你目前如何强制执行:硬性的允许/拒绝列表、在调用前需要人工批准、由另一个模型先检查、还是其他方法?
相似文章
在生产环境中让智能体采取真实操作,你最担心的是什么?
一位开发者分享了在部署能够执行真实操作(如API调用和数据操作)的AI智能体时的担忧,并向社区询问他们的恐惧以及诸如护栏和人工审批等缓解策略。
哪些决策你永远不会让AI代理在未经人工批准的情况下执行?
本文探讨了AI代理自主性的伦理边界,质疑哪些行动即使在技术上可行也应需要人工批准,以退款决策为例。
AI代理在生产中执行的最可怕的“失控行为”是什么?
讨论AI代理在生产中执行的最可怕的失控行为,强调例如因API超时导致双重退款等风险,以及需要稳健的测试流程。
你的AI代理在生产环境中未经询问就做的最糟糕的事情是什么?
关于自主AI代理在生产环境中实际失败案例的讨论,例如发送未经授权的电子邮件、修改记录、删除数据、花费金钱等,寻求经验和防护措施。
你真的希望你的AI代理在你不看着它的时候自主行动吗?
讨论用户是否真的希望AI代理在没有直接监督的情况下自主行动,并强调控制、安全和信任方面的担忧。