对于能够执行实际操作的AI代理,你们如何处理权限和授权?

Reddit r/ArtificialInteligence 新闻

摘要

这是一个讨论帖,征求关于如何处理能够执行实际操作的AI代理的权限和授权(包括审计追踪和权限范围)的意见。

我正在研究一个关于AI代理的问题,非常希望得到那些实际构建/部署它们的人的意见。随着代理从回答问题转向执行操作(发送邮件、审批事项、下单、修改记录、谈判等),我很好奇团队如何看待**代理权限**。例如:如果代理做出的决定产生了一项承诺,你如何知道它实际上在授予的权限范围内?你们当前的授权系统是否仅捕获“此代理可以访问X”,还是也能捕获“此代理可以同意Y但不能同意Z”?如果用户后来对代理的操作提出异议,是否有审计轨迹显示该时刻代理被允许做什么?我是从法律/技术的角度出发,试图弄清楚这是否是一个团队已经在应对的实际工程问题,还是主要是一个未来的担忧。特别感谢来自构建代理框架、企业AI系统、安全工具或自主工作流的人的意见。
查看原文

相似文章

谁授予了你的AI代理权限?

Reddit r/AI_Agents

讨论AI代理工作流中的安全漏洞,即代理在关键步骤中假设存在人类监督,并提出了一个运行时控制平面,用于强制执行权限,并在破坏性操作前要求人工批准,通过Tandem演示进行了说明。