如何防止AI代理在生产环境中采取意外或有害行动

我正在把几个AI代理集成到我们的技术栈中，但卡在了如何防止它们在接触实际生产系统时做出蠢事这一点上。目前，后端暴露了一些操作：创建订单、更新订阅、发起退款、写CRM备注、通过交易邮件服务商发送邮件。这些代理只与我们的后端对话，后端再调用真实系统，因此所有工具的使用都经过一个统一的内部API层。在开发和测试环境中，我们用干运行（dry-run）标记运行所有操作，这样就能看到代理会做什么而不会产生副作用。这个阶段测试起来感觉还行。但生产环境是风险所在。"加个审批"会让每个操作变成一个工单，这几乎抹杀了自动化代理的大部分价值。但让代理随便访问任何涉及资金流动或可能引发连锁反应的操作（退款、批量邮件、删除）似乎是在自找麻烦。设定每日退款限额听起来不错，直到代理因为错误理解策略或工具响应而自动退款给200个客户。我一直在听说的做法：为每个代理和每个工具设置最小权限（独立的身份、限定范围的角色/凭证）；在真实流量上运行影子模式但不执行操作；对高风险操作设置严格的速率限制和配额；另设一个独立的审查步骤，由另一个模型或策略引擎在实际执行前检查建议的操作是否符合业务规则。综合来看，感觉像是在重建一个工作流和访问控制引擎，只是为了照看代理。对于那些已经在实际生产系统上运行自主代理的人：你们采取了哪些措施来防止意外操作？哪些是完全自动化运行，哪些需要强制审批？哪些控制措施听起来不错，但实际上毫无用处？