论文页面 - 当上下文反噬：通过文档级注意力坍缩检测RAG投毒攻击

来源: https://huggingface.co/papers/2608.06947
发布于8月7日

·

由https://huggingface.co/An998提交

an998 (https://huggingface.co/An998) 于8月18日发布

摘要

D-SCAN 通过监测语言模型生成过程中的注意力坍缩动态来检测检索投毒攻击。

检索增强生成（https://huggingface.co/papers?q=Retrieval-augmented%20generation）（RAG）对于增强大语言模型不可或缺。然而，RAG 越来越容易受到投毒攻击（https://huggingface.co/papers?q=poisoning%20attacks），其中恶意文档被注入以操纵生成器输出。先前的方法依赖于输出侧信号，如困惑度（https://huggingface.co/papers?q=perplexity）和一致性检查来检测此类攻击。然而，我们的分析表明，精心设计的攻击往往会诱发“虚假置信”，即被投毒的输出表现出比良性输出更低的困惑度（https://huggingface.co/papers?q=perplexity），这使得基于不确定性的检测方法失效。为解决这一挑战，我们探索了生成器的内部动态，并识别出一个被称为注意力坍缩（https://huggingface.co/papers?q=Attention%20Collapse）的独特特征。与良性生成中分散的注意力不同，受攻击的生成在注意力集中于投毒文档时表现出熵的降低。基于这些发现，我们提出了D-SCAN（https://huggingface.co/papers?q=D-SCAN）（文档级信号坍缩分析），一个通过监测注意力动态来识别受攻击生成的轻量级检测框架。在多个攻击基准上的广泛实验证明了我们方法的有效性。此外，D-SCAN（https://huggingface.co/papers?q=D-SCAN）即使在攻击未能改变最终答案时也能进行检测。代码已发布于 https://github.com/yingtaoren/D-Scan (https://huggingface.co/papers?q=D-Scan).git\。

查看 arXiv 页面 (https://arxiv.org/abs/2608.06947) 查看 PDF (https://arxiv.org/pdf/2608.06947) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.06947)

在你的代理中获取此论文：

hf papers read 2608\.06947

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.06947 以从本页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.06947 以从本页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.06947 以从本页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接。