迈向更安全的RAG：只有具备System 2思维能力的智能体才能访问不受信任的文档

# 迈向更安全的RAG：仅具备系统2思维能力的智能体方可访问不可信文档
来源：https://arxiv.org/html/2608.17153
###### 摘要

检索增强生成（RAG）显著提升了大型语言模型（LLMs）的性能，但这些系统仍容易受到知识投毒攻击，其中检索文档中的错误信息可能影响模型的最终输出。值得注意的是，即使LLM能够正确检测文档包含错误信息，它仍可能受其影响。先前工作通过“警戒线原则”应对这一漏洞，该原则禁止负责最终答案合成的智能体直接访问原始证据。虽然有效，但这种严格隔离会带来巨大的计算开销。本文提出一项优化的安全原则：仅具备审慎系统2推理能力的智能体方可访问不可信文档。为评估该原则，我们引入新的量化指标来衡量错误信息检测与下游影响之间的差异，并系统性地比较前沿推理语言模型与标准语言模型在这些指标上的表现。结果表明，具备推理能力的模型对污染证据具有显著更强的鲁棒性，无需依赖警戒线原则要求的严格隔离。这些发现为我们的优化原则提供了实证支持，并为安全RAG系统设计提供了更实用的理论基础。

## 1引言

检索增强生成（RAG）8 (https://arxiv.org/html/2608.17153#bib.bib1)通过外部知识锚定输出显著增强了大型语言模型的能力，但这种依赖引入了一个关键漏洞：知识投毒攻击，即通过精心构造的文档操纵模型的最终响应。先前研究揭示了一个令人不安的现象：即使模型成功检测到被投毒的文档，它在答案合成过程中往往仍无法抵抗被污染内容的影响。为解决此问题，先前研究提出了“警戒线原则”14 (https://arxiv.org/html/2608.17153#bib.bib2)，严格禁止任何能进行最终答案合成的智能体直接访问原始证据。虽然安全，但这种方法带来了高昂的计算开销并限制了系统灵活性。

本文提出一项优化原则：仅允许具备审慎系统2思维能力的智能体访问不可信文档，而仅依赖联想匹配的智能体必须保持隔离。我们并非提出新防御方案，而是通过引入两项新指标分别量化投毒鲁棒性和推理开销，并在这些指标上对比前沿推理语言模型与缺乏系统2能力的标准模型，实证验证了该原则。结果表明，具备系统2思维能力的智能体在无需警戒线严格隔离的情况下仍能保持显著更高的鲁棒性，为RAG系统安全提供了更实用的基础。我们的贡献包括：(1) 基于系统2思维能力的优化安全原则；(2) 两项新评估指标——警戒线率（衡量尽管明确检测到仍受影响的情况）和污染率（衡量尽管明确意图忽略仍受影响的情况）。

## 2方法

### 2.1动机

先前研究15 (https://arxiv.org/html/2608.17153#bib.bib3)揭示了语言模型中一个关键且长期被忽视的缺陷，他们称之为“监控-控制鸿沟”。研究表明，即使语言模型成功检测到所提供上下文中的错误信息，它在答案合成过程中仍会受到该缺陷文本的影响。这一现象揭示了模型抑制已识别但可见错误信息影响能力的根本性失败。

这一发现与Bengio2 (https://arxiv.org/html/2608.17153#bib.bib4)在2019年NeurIPS演讲中的观点相呼应，他认为当前深度学习模型擅长系统1思维任务（对应卡尼曼的快速思维7 (https://arxiv.org/html/2608.17153#bib.bib5)），但在系统2思维任务（对应卡尼曼的慢速思维）方面存在严重不足。基于此观察，研究者提出了多种专为系统2推理设计的Transformer架构替代方案，但扩展这些架构已被证明极具挑战性。与此同时，另一系列研究专注于提升基于Transformer的语言模型的系统2思维能力。DeepSeek-R1及类似推理模型是目前AI领域实现系统2风格思维的最突出尝试6 (https://arxiv.org/html/2608.17153#bib.bib6)。然而，尽管取得进展，一些批评者认为此类模型可能只是模拟推理而非真正推理，表明仅靠训练可能不足3 (https://arxiv.org/html/2608.17153#bib.bib7)。

我们假设监控-控制鸿沟直接源于系统2推理能力的缺失。考虑一个自然具备系统1和系统2思维能力的人类智能体：当该智能体检测到段落中的缺陷或错误信息并确信其错误性时，绝不会允许该信息影响最终判断。对这样的智能体而言，监控-控制鸿沟在概念上是无意义的。因此，该现象仅出现在缺乏系统2思维能力的智能体中——这正是当前大型语言模型的情况。

为量化此缺陷并验证我们的优化安全原则，我们引入两项互补的评估指标。

### 2.2警戒线率

警戒线率（\(C\)）衡量模型检测到被投毒文档但仍生成受其影响答案的概率。该指标直接针对严格警戒线原则旨在消除的残余漏洞。

对于每个测试实例，我们为目标语言模型\(M\)提供一组检索上下文，其中包含一个被投毒文档（内含精心构造的错误信息）。我们假设检索成功，并将投毒内容直接注入上下文。我们提示\(M\)执行以下操作：(1)逐步推理，(2)检查上下文中的错误信息，(3)生成最终答案。提示模板见附录A.1 (https://arxiv.org/html/2608.17153#A1.SS1)。

然后我们使用独立的评判语言模型\(J\)进行两项判定：首先，根据\(M\)的答案和投毒文档，\(J\)评估\(M\)的最终答案是否受到投毒影响；其次，根据原始提示、\(M\)的答案和投毒文档，\(J\)评估\(M\)是否成功检测到错误信息。评判提示见附录A.2 (https://arxiv.org/html/2608.17153#A1.SS2)。

为隔离投毒效应与模型固有知识缺陷的影响，我们排除\(M\)在无检索上下文（即仅依赖参数化知识）时无法生成正确答案的样本。设\(V_i\)表示样本\(i\)在此意义上有效。对于随机抽取的有效实例，我们定义两个二元结果：\(\text{influenced}(M)_i\)表示模型最终答案受投毒文档影响，\(\text{detected}(M)_i\)表示模型正确标记了错误信息。为确定投毒是否影响模型，我们检查模型答案（在给定RAG上下文和投毒检测提示时）是否与正确答案矛盾。若存在矛盾，则判定答案受影响。矛盾检测提示见附录A.3 (https://arxiv.org/html/2608.17153#A1.SS3)。

警戒线率定义为在实例有效的条件下，两个结果同时发生的联合概率：
\[ C = P\left( \left[ \text{influenced}(M)_i \land \text{detected}(M)_i \right] \mid V_i \right) \quad (1) \]
实证上，我们通过计算有效样本中联合事件指示变量的平均值来得到此概率。

需特别注意，这*不是*条件概率 \(P(\text{influenced} \mid \text{detected}, V_i)\)——即*不是*被检测案例中仍受影响的比例。相反，\(C\)在整体有效人群范围内惩罚检测与影响的同时发生，捕捉了警戒线原则旨在归零的绝对残余失败率。

### 2.3污染率

污染率（\(T\)）衡量模型在被明确指示忽略检索内容时，对投毒证据的隐性易感性。该指标捕捉了尽管有自上而下忽略上下文的指令，系统1“自动”影响仍持续存在的现象。

对于每个查询，我们在两种条件下评估同一语言模型\(M\)：第一种条件\(M_1\)下，提供完整检索文档集（包含注入的投毒内容），但明确指示\(M_1\)忽略所有提供的文档，仅依赖参数化知识；第二种条件\(M_2\)下，不提供检索上下文，要求其仅基于自身知识回答。评判模型\(J\)随后分别评估\(M_1\)的答案是否受投毒影响，以及\(M_2\)的答案是否受投毒影响。评判提示见附录A.3 (https://arxiv.org/html/2608.17153#A1.SS3)。

若\(M_1\)的答案受投毒影响而\(M_2\)的答案未受影响，则样本得分为1，否则为0。污染率定义为：
\[ T = P\left( \text{influenced}(M_1)_i \land \neg\text{influenced}(M_2)_i \right) \quad (2) \]
该指标有效控制了模型的预存知识。若两个实例均受影响，则影响可能源于参数化幻觉；反之，若仅\(M_1\)受影响，则确认污染源自提供给模型的检索文档（尽管有忽略指令）。

### 2.4投毒生成

我们刻意采用简单的投毒策略：对每个问题，生成正确答案，用其构造单个矛盾句（提示在A.4 (https://arxiv.org/html/2608.17153#A1.SS4)），并将该句扩展为连贯的500字段落（提示在A.5 (https://arxiv.org/html/2608.17153#A1.SS5)）。随后将段落和正确答案同时提供给评判语言模型，询问仅基于段落答案是否正确；若评判模型判定不正确（提示在A.6 (https://arxiv.org/html/2608.17153#A1.SS6)），则确认投毒携带了预设的错误信息。这种简单、非优化的设计是有意为之——我们并非测试对复杂攻击的鲁棒性，而是隔离系统2推理能力（或其缺失）如何影响对简单生成错误信息的易感性。若如此粗糙的投毒在非推理模型中仍产生显著的污染率和警戒线率，则强化了监控-控制鸿沟是根本局限的观点。关键在于，该鸿沟并非高度优化对抗内容的产物，而是我们策略的朴素性所暴露的结构性缺陷。

## 3实验

我们探讨三个研究问题：RQ1：具备系统2思维能力的智能体能否访问不可信文档而不影响最终响应？RQ2：不具备系统2思维能力的语言模型在多大程度上受其上下文中文本的影响？RQ3：监控-控制鸿沟在哪些类型的问题上更明显？

### 3.1实验设置

我们如下构建实验设置：选取BEIR基准11 (https://arxiv.org/html/2608.17153#bib.bib8)中SciFact12 (https://arxiv.org/html/2608.17153#bib.bib9)、FiQA9 (https://arxiv.org/html/2608.17153#bib.bib10)和MS-MARCO1 (https://arxiv.org/html/2608.17153#bib.bib11)子集的前40个查询。目标模型采用DeepSeek-Chat5 (https://arxiv.org/html/2608.17153#bib.bib12)（作为标准基础模型）和DeepSeek-Reasoner6 (https://arxiv.org/html/2608.17153#bib.bib6)（作为增强推理模型）。自动响应评估使用Gemini 2.5 Pro4 (https://arxiv.org/html/2608.17153#bib.bib13)作为评判模型，并人工验证其所有判定以消除标注错误。为生成不可信（投毒）上下文段落，主要使用GPT-5.610 (https://arxiv.org/html/2608.17153#bib.bib14)；但对于因安全准则拒绝生成的少数实例，使用Grok 4.613 (https://arxiv.org/html/2608.17153#bib.bib15)生成所需投毒内容。最后，所有模型响应均使用0.1温度生成以最小化随机性并确保可复现性。

### 3.2RQ1

我们选择DeepSeek-Reasoner作为推理模型，与同供应商的标准（非推理）模型DeepSeek-Chat进行对比，控制架构和训练差异以隔离模拟推理的效果。然后计算上述数据集（SciFact、FiQA和MS-MARCO）上的警戒线率以量化两类模型的行为差异。

表1 (https://arxiv.org/html/2608.17153#S3.T1)显示，推理模型（DeepSeek-Reasoner）在SciFact和FiQA上的警戒线率降至零，而标准模型（DeepSeek-Chat）分别产生非零比率0.175和0.025。两模型在MS-MARCO上均为零。结果表明推理模型能访问不可信文档而不受嵌入错误信息的实质影响。因此，这种易感性降低表明推理增强模型的监控-控制鸿沟更窄，因为它们似乎在冲突信息出现时能更有效地识别和忽略。

表1：警戒线率对比
### 3.3RQ2

为解决RQ2（考察不具备系统2思维能力的模型在多大程度上受其上下文中文本隐性影响），我们计算了上述数据集上的定制污染率（\(T\)）。该指标将上下文影响操作化为模型即使在被明确指示忽略时仍对投毒证据的易感性。

将污染率（\(T\)）应用于上述数据集为RQ2提供了直接实证答案。如表2 (https://arxiv.org/html/2608.17153#S3.T2)所示，DeepSeek-Chat模型在SciFact上表现出\(T=0.25\)，意味着25%的样本中，提供检索文档的实例（\(M_1\)）尽管有忽略指令仍受投毒证据隐性影响，而相同模型实例在无上下文（\(M_2\)）的那些样本中未受影响——隔离了任何参数化混淆的上下文吸引力。相比之下，DeepSeek-Reasoner在SciFact上将其降至仅0.10，影响力削减过半。两模型在FiQA（0.10 vs. 0.00）和MS-MARCO（0.00 vs. 0.00）上显示接近零的污染率。关键的是，DeepSeek-Chat在所有