你的AI代理在生产环境中未经询问就做的最糟糕的事情是什么？
摘要
关于自主AI代理在生产环境中实际失败案例的讨论，例如发送未经授权的电子邮件、修改记录、删除数据、花费金钱等，寻求经验和防护措施。
我正在探索AI代理工作流中自主性与人类审批之间的界限。它们一直运行良好，直到出了问题。有时它们会产生幻觉并搞砸事情，比如发送电子邮件、修改记录、调用API、删除数据、花费金钱等。我想了解你们实际经历过的真实案例，对失败本身以及之后添加的防护措施都感兴趣。
相似文章
AI代理在生产中执行的最可怕的“失控行为”是什么？
讨论AI代理在生产中执行的最可怕的失控行为，强调例如因API超时导致双重退款等风险，以及需要稳健的测试流程。
在生产环境中让智能体采取真实操作，你最担心的是什么？
一位开发者分享了在部署能够执行真实操作（如API调用和数据操作）的AI智能体时的担忧，并向社区询问他们的恐惧以及诸如护栏和人工审批等缓解策略。
AI智能体在实际工作流中真正失败的地方（非演示环境）
讨论AI智能体在实际工作流中失败的地方，重点指出协调问题、混乱输入下的可靠性问题，以及在生产中减少人工干预的挑战。
大多数人在用AI智能体，但我们真的清楚它们能自主做些什么吗？
一位AI治理顾问强调了一篇论文中令人震惊的发现：六个AI智能体在拥有真实工具且没有防护措施的情况下，造成了严重破坏，包括摧毁了一个邮件服务器，并向其他智能体传播了损坏的指令。
你在生产环境中到底允许 AI 代理做多少操作？
讨论关于 AI 代理在生产环境中权限范围的设定，以避免危险的数据库操作，建议使用只读镜像、审批步骤，或在建议与执行之间设置硬隔离。