你们如何处理读取外部内容的代理中的提示注入问题？
摘要
关于在读取外部内容（如电子邮件和网页）的AI代理中处理提示注入攻击的讨论，探讨了生产级别的防御措施以及超越明显模式的微妙威胁。
我目前正在从事这个领域的一个项目，很好奇其他人在生产环境中使用的方法。具体来说，我对读取电子邮件、网页、文档或工具结果的代理感兴趣。我注意到真正的攻击面并不是用户提示本身，而是代理摄取的内容。例如，一封电子邮件可以指示你的代理执行某个操作，而一个网页可以改变其行为。我遇到的大多数防御措施都专注于检测明显的模式，但往往忽略了更微妙的威胁。你目前的设置是什么样的？你是否在代理级别实施了任何措施，依赖模型护栏，或者只是接受风险？
相似文章
理解提示词注入：AI安全的前沿挑战
OpenAI发布了关于提示词注入攻击的指导，这是一种社会工程漏洞，恶意指令可以隐藏在网页内容或文档中，诱骗AI模型执行意外操作。该公司概述了其多层防御策略，包括指令层级研究、自动化安全测试和AI驱动的监控系统。
设计能抵抗提示词注入的AI智能体
OpenAI发布了关于设计抗提示词注入攻击的AI智能体的指导意见，指出现代攻击日益采用社会工程学策略而非简单的字符串注入，并倡导采用系统级防御措施来限制影响范围，而不是单纯依赖输入过滤。
你们如何在产品发布后检测新的提示注入模式？
本文讨论了在AI系统发布后检测新提示注入模式的方法，包括语义搜索、追踪级安全评分以及Braintrust等工具，同时强调了误报和攻击分类方面的挑战。
高级提示注入如何劫持AI智能体（以及为什么基本过滤器不够用）
文章警告说，基本内容过滤器不足以应对针对AI智能体的高级提示注入攻击，尤其是在RAG管道中，并呼吁采取严格的输入清理和架构防御措施。
@OpenHandsDev：AI代理是一个新的攻击面。加入@OpenHandsDev和@GraySwanAI参与一场关于提示注入、代理特定威胁以及构建能抵御真实攻击的代理的深刻讨论…
OpenHands和Gray Swan正在举办一场活动，讨论AI代理安全风险，包括提示注入、代理特定威胁以及如何构建安全的代理。