开发人员发布AI代理时，你们的安全测试是怎样的？
摘要
一位正在为AI代理构建安全测试工具的开发者向社区询问：在发布前，他们针对提示注入、数据泄露等恶意输入进行测试的做法是怎样的？
过去几个月一直在为AI代理构建安全测试工具，发现团队先是构建代理，然后测试其准确性和幻觉。你是否会测试提示注入、系统提示提取、数据泄露，直到它在生产环境中出问题？我以前认为LLM模型足够智能可以处理这些问题，那是我最初的安全计划。你的经历如何？你是否在发布前测试恶意输入？如果是，过程是怎样的？如果不是，什么会让你开始这样做？
相似文章
在AI智能体面向用户之前，你是如何测试其安全性的？我们受够了没有好的答案，于是自己开发了这个工具。
作者构建了一个用于在AI智能体部署给用户之前测试其安全性的工具，弥补了当前实践中的一个常见空白。
当前AI代理API中实际上缺失了哪些安全检查？
本文探讨了AI代理API中缺失的安全检查，寻求从业者对常见保护措施（如提示注入和个人身份信息暴露）之外的差距的见解，例如意图匹配和可疑操作检测。
对于使用工具的智能体，安全边界应划在哪里？
讨论AI智能体使用工具的安全风险，重点关注提示注入这一实际威胁——不受信任的文本可能改变智能体行为，以及在授予权限前需要进行可重复测试。
你们如何处理读取外部内容的代理中的提示注入问题？
关于在读取外部内容（如电子邮件和网页）的AI代理中处理提示注入攻击的讨论，探讨了生产级别的防御措施以及超越明显模式的微妙威胁。
在部署之前，你们是如何测试智能体的？还是大家都在生产环境中凭感觉检查？
关于测试非确定性AI智能体挑战的讨论，质疑开发者如何在没有传统测试模式的情况下验证工具使用、行为和多步骤工作流。