对于能够执行实际操作的AI代理,你们如何处理权限和授权?
摘要
这是一个讨论帖,征求关于如何处理能够执行实际操作的AI代理的权限和授权(包括审计追踪和权限范围)的意见。
我正在研究一个关于AI代理的问题,非常希望得到那些实际构建/部署它们的人的意见。随着代理从回答问题转向执行操作(发送邮件、审批事项、下单、修改记录、谈判等),我很好奇团队如何看待**代理权限**。例如:如果代理做出的决定产生了一项承诺,你如何知道它实际上在授予的权限范围内?你们当前的授权系统是否仅捕获“此代理可以访问X”,还是也能捕获“此代理可以同意Y但不能同意Z”?如果用户后来对代理的操作提出异议,是否有审计轨迹显示该时刻代理被允许做什么?我是从法律/技术的角度出发,试图弄清楚这是否是一个团队已经在应对的实际工程问题,还是主要是一个未来的担忧。特别感谢来自构建代理框架、企业AI系统、安全工具或自主工作流的人的意见。
相似文章
你们当中那些在生产环境中运行AI代理的人——实际上是如何管理它们的权限的?
本文探讨了工程师如何管理生产环境中AI代理的权限,强调了普遍存在的权限过大和缺乏审计追踪的问题。
当AI智能体采取实际行动时,授权究竟在哪里执行?
探讨了当AI智能体采取实际行动时执行授权所面临的挑战,提出了安全控制应置于何处的问题。
贵组织如何处理自主系统的审计与合规问题?
一位实践者详细阐述了自主AI代理在审计、合规和治理方面面临的实际挑战,包括身份识别、审批、日志记录和问责机制,并向社区寻求解决方案。
谁授予了你的AI代理权限?
讨论AI代理工作流中的安全漏洞,即代理在关键步骤中假设存在人类监督,并提出了一个运行时控制平面,用于强制执行权限,并在破坏性操作前要求人工批准,通过Tandem演示进行了说明。
你在生产环境中到底允许 AI 代理做多少操作?
讨论关于 AI 代理在生产环境中权限范围的设定,以避免危险的数据库操作,建议使用只读镜像、审批步骤,或在建议与执行之间设置硬隔离。