在生成环境中运行AI代理:如何控制它们实际允许执行的操作?

Reddit r/AI_Agents 新闻

摘要

一位开发者寻求关于如何在生产环境中控制和约束AI代理行为的建议,特别是当它们与真实系统(如数据库和客户数据)交互时,询问当前实践情况以及这是否是一个已知的难题。

我正在构建调用真实工具(不仅仅是聊天)的代理,而我不断遇到瓶颈的不是模型本身,而是如何限制代理在接触到真实系统(如退款、数据库写入、发送邮件、访问客户数据)后所允许执行的操作。想知道大家目前在生产环境中是如何处理这个问题的:靠广泛的服务令牌和希望?一次性授予静态OAuth范围?自己写的每次调用检查?对任何有风险的操作加入人类介入?目前还没有/在你的规模下不是问题?反过来,如果有人要求你精确证明每个代理做了什么以及为什么允许它这样做,你能做到吗?或者这还没进入任何人的关注范围?我主要是想弄清楚这到底是一个真正的难题,还是我思虑过多了。如果某个代理做了不该做的事,我真的很想知道发生了什么具体事例。
查看原文

相似文章