在AI代理发布或向客户发送消息之前,它的权限卡应包含什么?

Reddit r/ArtificialInteligence 新闻

摘要

作者提出了一个针对AI代理的七行'授权卡'框架,强调明确的权限、禁止事项和失败测试,以防止未经授权的操作并确保安全自动化。

AI代理的危险时刻并非它写出尴尬句子之时,而是它在人们注意到之前就有权限执行错误操作之时。我一直在测试一个简短的'授权卡',适用于任何能发布、发消息、安排、更改记录或移动文件的代理。我的授权卡目前有七行: 目标:它应产生的确切结果。 允许的数据:它可读取的记录、字段、文件夹或来源。 允许的工具和操作:读取、起草、编辑、上传和发布是不同的权限。 禁止的操作:即使看似高效也绝不能做的事。 停止条件:不匹配、缺少批准或模糊性导致自动化结束。 人类所有者:对工作流负责并做出最终不可逆决策的人。 审计记录:哪个身份执行了操作、更改了什么以及结果如何验证。 我低估的部分是失败测试。一个干净的演示只证明了顺利路径。在扩大访问权限之前,我现在希望系统在虚假声明、私人信息、冲突指令和超出其权限的请求下进行测试。正确结果通常是拒绝或人工介入,而不是一个精致的答案。我还认为起草、上传和发布需要保持三个不同的操作。一个能准备帖子的工作流并不自动需要能公开发布的凭据。你会在哪里收紧这一点?在生产环境中,你是否发现有缺失的一行是必要的,还是七行已经太多,人们难以一致使用? 关联披露:我主持AI With Honor,并在将我的一期录制节目转化为实际操作清单时开发了这个框架。本文包含完整框架,而非宣传预告。
查看原文

相似文章

AI代理是否应该拥有不同的权限级别?

Reddit r/ArtificialInteligence

文章认为,AI代理应根据风险拥有不同的权限级别,低风险任务拥有更多自主权,涉及金钱、客户或声誉的行动则需批准。文章质疑用户是否会因基于风险的自主权而更加信任代理。

谁授予了你的AI代理权限?

Reddit r/AI_Agents

讨论AI代理工作流中的安全漏洞,即代理在关键步骤中假设存在人类监督,并提出了一个运行时控制平面,用于强制执行权限,并在破坏性操作前要求人工批准,通过Tandem演示进行了说明。