开发人员发布AI代理时，你们的安全测试是怎样的？
摘要
一位正在为AI代理构建安全测试工具的开发者向社区询问：在发布前，他们针对提示注入、数据泄露等恶意输入进行测试的做法是怎样的？
过去几个月一直在为AI代理构建安全测试工具，发现团队先是构建代理，然后测试其准确性和幻觉。你是否会测试提示注入、系统提示提取、数据泄露，直到它在生产环境中出问题？我以前认为LLM模型足够智能可以处理这些问题，那是我最初的安全计划。你的经历如何？你是否在发布前测试恶意输入？如果是，过程是怎样的？如果不是，什么会让你开始这样做？
相似文章
在AI智能体面向用户之前，你是如何测试其安全性的？我们受够了没有好的答案，于是自己开发了这个工具。
作者构建了一个用于在AI智能体部署给用户之前测试其安全性的工具，弥补了当前实践中的一个常见空白。
对于使用工具的智能体，安全边界应划在哪里？
讨论AI智能体使用工具的安全风险，重点关注提示注入这一实际威胁——不受信任的文本可能改变智能体行为，以及在授予权限前需要进行可重复测试。
你们如何处理读取外部内容的代理中的提示注入问题？
关于在读取外部内容（如电子邮件和网页）的AI代理中处理提示注入攻击的讨论，探讨了生产级别的防御措施以及超越明显模式的微妙威胁。
在部署之前，你们是如何测试智能体的？还是大家都在生产环境中凭感觉检查？
关于测试非确定性AI智能体挑战的讨论，质疑开发者如何在没有传统测试模式的情况下验证工具使用、行为和多步骤工作流。
免费AI代理安全评估
Antitech 为AI代理提供免费的早期安全评估服务，针对提示注入、工具滥用、数据泄露等攻击向量进行测试，并提供漏洞报告和参与折扣。