我们让AI代理访问数据库、邮件系统和支付API。然后我们只是……信任它们。

想想我们实际在做什么。我们构建一个AI代理。我们给它工具——读写数据库的能力、代表我们发送邮件、调用外部API，有时还能处理支付。我们测试它。它运行正常。我们部署它。然后我们回家，它无人监管地运行，在现实中采取实际行动，除了“LLM大概会保持在边界内”之外，对其所作所为没有任何有意义的检查。LLM并不总能保持在边界内。一个糟糕的提示、一个边缘情况、一条注入到代理读取的数据中的指令，它就会做出不该做的事。等你注意到时，事情已经发生了。我指的不是AGI风险。我指的是代理向未订阅用户发送500封邮件，或删除不应删除的记录，或将客户数据转发到它在不该使用的上下文中被要求调用的API。令人惊讶的不是这种情况发生，而是几乎没有人有治理层——策略执行、审计追踪、高风险操作的人工审批——位于代理和其工具之间。我们只是部署然后祈祷。我们构建了一些东西来解决这个问题，但我更感兴趣的是更广泛的问题：为什么这还不是标准做法？