rag-poisoning

本文揭示了RAG投毒攻击能人为提升模型置信度以规避传统检测方法，并提出通过监控注意力分布来检测此类攻击。

参加与 Arshi Chadha 的 AMA，她是 OWASP LLM Top 10 的联合负责人，讨论 AI 系统中的提示注入、RAG 投毒和嵌入攻击。

本文提出D-SCAN，一种针对RAG投毒的检测框架，通过监控语言模型生成中的注意力崩溃动态，即使在输出看似良性时，也能有效抵御对抗性攻击。

Google DeepMind 的论文提出了首个系统性框架，用以理解网络如何被用作针对自主 AI 智能体的武器。研究显示，隐藏的提示注入在多达 86% 的场景中能够劫持智能体，并提出了包含六种“AI 智能体陷阱”的分类法，分别针对感知、推理、记忆、行动、多智能体动态和人类监督。