我认为大多数“AI agent”项目失败是因为人们跳过了乏味的权限层
摘要
作者认为,成功的AI agent产品需要一个健壮的权限系统,包括只读、草稿、审批、有限执行和审计层,优先考虑安全性而非表面的神奇效果。
我一直在公开构建一个AI首席参谋风格的产品,我反复强调的一点是:模型不是产品。权限系统才是。很多AI agent演示看起来令人印象深刻,因为agent能“做事情”:读取邮件、总结Slack、创建任务、草拟回复、编辑文件、更新CRM记录、安排会议。挺酷的。但可怕的部分不在于agent能否调用工具。可怕的部分在于它是否应该调用。
以下是我目前在脑海中使用的权限架构:
1. **只读层**
Agent可以检查上下文,但不能修改任何内容。
示例:阅读文档、总结最近消息、分析CRM备注、检查项目状态
2. **草稿层**
Agent可以准备一个操作,但不能执行它。
示例:草拟邮件、创建建议任务列表、准备发票跟进、生成会议议程
3. **审批层**
Agent展示它想要做什么、为什么以及用到了哪些数据。我喜欢这个格式:
4. **有限执行层**
Agent可以在约束条件下执行低风险任务。
示例:给线索标记为“需要回复”、将任务移至“等待中”、创建草稿日历块、更新内部备注
5. **审计层**
每个操作都会被记录。不仅仅是“Agent发送了邮件”。还包括:什么触发了它、使用了什么上下文、调用了什么工具、改变了什么、用户是否批准、如果可能的话的回滚路径。
我目前的规则:如果Agent触碰到外部、昂贵、面向客户或难以撤销的东西,就需要一个审批关卡。
这让产品在演示中不那么“神奇”,但在实际业务中更实用。好奇其他人是怎么处理这个问题的:你们是让Agent直接执行操作,还是让它们保持在草稿/推荐模式?
相似文章
智能体安全可能始于枯燥的权限设计
讨论了枯燥的权限设计作为确保AI代理安全的基础要素的重要性。
AI代理的下一个大用户体验问题是权限设计
讨论为AI代理设计权限系统所面临的新兴用户体验挑战,强调需要更好的用户控制和信任。
AI代理是否应该拥有不同的权限级别?
文章认为,AI代理应根据风险拥有不同的权限级别,低风险任务拥有更多自主权,涉及金钱、客户或声誉的行动则需批准。文章质疑用户是否会因基于风险的自主权而更加信任代理。
AI 智能体的瓶颈不是模型性能——而是权限问题(3分钟阅读)
文章认为,企业AI智能体的主要瓶颈不在于模型性能,而在于权限设置和治理,重点介绍了Workday的Sana系统与Google Gemini的集成,以确保在受监管环境中执行安全且经授权的操作。
谁授予了你的AI代理权限?
讨论AI代理工作流中的安全漏洞,即代理在关键步骤中假设存在人类监督,并提出了一个运行时控制平面,用于强制执行权限,并在破坏性操作前要求人工批准,通过Tandem演示进行了说明。