@rohanpaul_ai：RAG投毒会让模型产生更高的置信度，这正是基于置信度检测方法失效的原因。这篇论文深入...

X AI KOLs Following 论文
rag-poisoning ai-security attention-collapse retrieval-augmented-generation adversarial-attacks

摘要

本文揭示了RAG投毒攻击能人为提升模型置信度以规避传统检测方法，并提出通过监控注意力分布来检测此类攻击。

RAG投毒会增强模型自信度，这恰恰是基于自信度检测器可能失效的原因。 研究发现，恶意检索文档会提升token置信度和输出一致性，因此基于不确定性的检测器可能因虚假自信而漏判攻击。在攻击状态下，注意力会集中于被投毒的文档，而非分散在检索到的证据上，研究者将此现象称为“注意力坍塌”。 因此，仅检查最终答案或自信度可能错过RAG安全预警。监测注意力在检索文档中的分布情况，能在答案显现出异常前揭示投毒行为。 – arxiv.org/abs/2608.06947 《当上下文反噬：通过文档级注意力坍塌检测RAG投毒》
查看原文
查看缓存全文

缓存时间: 2026/08/20 08:58

RAG投毒可使模型输出更自信，这恰恰是基于置信度的检测器可能失效的原因。

研究发现，恶意检索文档会提升token置信度与输出一致性。因此基于不确定性的检测器可能因投毒制造的虚假自信而漏检攻击。

在攻击状态下，注意力会集中于投毒文档而非分散在检索证据中。作者将此现象称为“注意力坍缩“。

因此对于RAG安全而言，仅检查最终答案或其置信度可能遗漏警告信号。监控注意力在检索文档间的分布，有望在答案明显异常前暴露投毒行为。

– arxiv. org/abs/2608.06947

标题：《当上下文反噬：基于文档级注意力坍缩的RAG投毒检测》

相似文章

数据投毒与RAG操纵

Reddit r/ArtificialInteligence

讨论数据投毒和RAG操纵如何对AI系统构成无声而危险的威胁，认为安全防护必须超越输入过滤，延伸到记忆、数据管道和多智能体逻辑。

RAGognizer：通过检测头集成实现幻觉感知微调

arXiv cs.CL

RAGognizer 提出了一种幻觉感知微调方法，该方法将轻量级检测头集成到大语言模型（LLMs）中，以实现语言建模与幻觉检测的联合优化，适用于 RAG 系统。论文介绍了 RAGognize，一个包含自然发生的闭域幻觉及其词元级标注的数据集，并展示了在降低幻觉率的同时，实现了最先进的幻觉检测性能，且不损害语言质量。