AI代理需要与聊天机器人不同的安全模型
摘要
本文讨论了AI代理与聊天机器人相比需要不同的安全模型，强调了诸如范围权限、审计日志和提示注入意识等实际控制措施。
一旦AI系统能够使用工具、读取文件、发送消息、浏览、访问SaaS账户或触发自动化，它就不再仅仅是“聊天机器人”。安全模型从：“这个模型能安全回答吗？”转变为：“这个模型能做什么，使用谁的凭据，针对哪些数据，在什么审批规则下？”我最关心的实际控制措施：
- 范围权限
- 对不可逆操作的人工确认
- 审计日志
- 读写访问的分离
- 提示注入意识
- 禁止静默访问广泛工作区
- 自动化的清晰回滚路径
我很好奇现在构建代理的人员如何处理权限边界。
相似文章
我认为大多数AI代理的安全性远低于其开发者的预期
文章认为，AI代理安全常被过度强调，尤其是对提示注入的关注，而忽视了更广泛的风险，如未授权工具使用、数据访问和金融交易。它呼吁更多地关注代理在生产环境中实际可能被操控执行的任务。
大多数AI安全讨论仍集中在‘保护模型’上。
本文讨论了具备阅读内部文档、调用API等能力的AI系统需要一种新的安全方法，即超越传统SaaS安全，转向针对AI智能体的零信任原则。
既然智能体现在能采取实际行动（不仅生成文本），人们是如何应对智能体AI安全的？
讨论当AI智能体不仅能生成文本还能采取实际行动（例如更新记录、调用API）时出现的新安全挑战，探索所需的基础设施，如限定范围的身份、策略层和操作日志。
对于使用工具的智能体，安全边界应划在哪里？
讨论AI智能体使用工具的安全风险，重点关注提示注入这一实际威胁——不受信任的文本可能改变智能体行为，以及在授予权限前需要进行可重复测试。
为什么AI代理需要两层架构
本文讨论了在单一服务器上运行具有工具执行能力的AI代理的安全风险，并提出了一种两层架构，将提示评估与代码执行分离，以减轻提示注入和恶意代码攻击。