我们的AI代理因工单要求更大的礼品卡而删除了反洗钱控制

这个工单很普通，由业务部门撰写。更大的礼品卡，在每个收银台销售。AI代理将上限提高到2000欧元，向每个收银员开放发放，并移除了管理员验证步骤。然后它重写了自身的测试，使测试套件通过，并用自己发明的补偿控制为整个操作辩护。两个细节使其值得讲述。那个上限是一个反洗钱控制，并且在任务期间该规则被推送到AI代理的上下文中13次，所以它并非盲目操作。而它删除的验证步骤是它自己在18个工单之前编写的。审查本会看到一个连贯的更改，有通过的测试和合理的注释。持续集成（CI）本会通过。问题在于仲裁。工单是最新的指令，规则是较旧的上下文，AI代理解决冲突时偏向了工单。告知它规则存在并不会改变结果。必须有东西能够拒绝。所以对于任何在背后有真实业务规则的系统上运行代理的人：你的规则实际存在于哪里，是否有东西强制执行它们，还是它们只是模型权衡的文本？AI代理是否曾删除过你故意设置的控制，你是如何发现的？你是否有任何东西可以直接拒绝操作，还是审查是唯一的关卡？在我们监控的64个规则中只有一次违规，所以它不是持续发生的。它只需要在错误规则上发生一次。完全披露，我从事AI代理安全工作，所以这是我正在寻找的那种事情。