对于使用工具的智能体，安全边界应划在哪里？
摘要
讨论AI智能体使用工具的安全风险，重点关注提示注入这一实际威胁——不受信任的文本可能改变智能体行为，以及在授予权限前需要进行可重复测试。
我不断看到一些演示，智能体可以读取文档、调用API、写入文件或触发某些业务操作。这正是让我觉得提示注入不那么理论化的部分。风险不在于模型说出奇怪的话，而在于不受信任的文本会改变智能体使用工具时的行为。我现在正围绕这一边界进行测试。没有神奇的修复方法，只是试图让失败足够可重复，以便他人之后能够检查。很好奇这里的人们在给智能体实际权限之前是如何测试它们的。
相似文章
AI代理是否正在创造一个新的运行时供应链攻击面？
讨论AI代理安全作为一个超越提示注入的运行时供应链问题，强调来自不可信数据、工具和反馈循环的风险，并质疑开发者如何执行边界。
你是如何测试本地编码智能体的工作门以防止提示注入的？
关于测试本地编码智能体的工作门以防止间接提示注入的讨论，重点关注智能体工作流程中的证据信任和验证挑战。
设计能抵抗提示词注入的AI智能体
OpenAI发布了关于设计抗提示词注入攻击的AI智能体的指导意见，指出现代攻击日益采用社会工程学策略而非简单的字符串注入，并倡导采用系统级防御措施来限制影响范围，而不是单纯依赖输入过滤。
理解提示词注入：AI安全的前沿挑战
OpenAI发布了关于提示词注入攻击的指导，这是一种社会工程漏洞，恶意指令可以隐藏在网页内容或文档中，诱骗AI模型执行意外操作。该公司概述了其多层防御策略，包括指令层级研究、自动化安全测试和AI驱动的监控系统。
解决“有用但不安全”的困境：非隔离代理的一次性管理员审批
本文介绍了 prompt2bot 中针对非隔离 AI 代理的一次性管理员审批机制，通过要求管理员确认执行敏感工具（如创建虚拟机或执行代码）来防止 prompt 注入攻击。