提示注入、RAG 投毒与嵌入攻击：与 OWASP LLM Top 10 联合负责人 Arshi Chadha 的 AMA（8 月 20 日周四下午 5 点）
摘要
参加与 Arshi Chadha 的 AMA，她是 OWASP LLM Top 10 的联合负责人，讨论 AI 系统中的提示注入、RAG 投毒和嵌入攻击。
Arshi Chadha 是一位 AI 安全研究员，专注于研究 AI 系统如何被攻破：让模型和代理执行它们本不该做的操作、对它们检索的数据进行投毒，以及将系统自身功能变成攻击面。
相似文章
@OpenHandsDev：AI代理是一个新的攻击面。加入@OpenHandsDev和@GraySwanAI参与一场关于提示注入、代理特定威胁以及构建能抵御真实攻击的代理的深刻讨论…
OpenHands和Gray Swan正在举办一场活动，讨论AI代理安全风险，包括提示注入、代理特定威胁以及如何构建安全的代理。
你们如何处理读取外部内容的代理中的提示注入问题？
关于在读取外部内容（如电子邮件和网页）的AI代理中处理提示注入攻击的讨论，探讨了生产级别的防御措施以及超越明显模式的微妙威胁。
理解提示词注入：AI安全的前沿挑战
OpenAI发布了关于提示词注入攻击的指导，这是一种社会工程漏洞，恶意指令可以隐藏在网页内容或文档中，诱骗AI模型执行意外操作。该公司概述了其多层防御策略，包括指令层级研究、自动化安全测试和AI驱动的监控系统。
通过工具输出的提示注入（8分钟阅读）
本文解释了AI系统中不受信任的工具输出如何被利用进行提示注入攻击，强调即使在内部系统中，也需要将某些字段视为不受信任。
间接提示注入的见解（12分钟阅读）
Zico Kolter 和 Matt Fredrikson，Gray Swan 的领导者及 AI 安全专家，讨论了 AI 红队测试的现状以及间接提示注入——这是 AI 代理的关键漏洞。他们解释了为何 AI 安全需要不同的思维模式，自动化红队测试如何超越人类，并介绍了用于对抗性测试的工具 Shade。