检索增强生成(RAG)管道中匿名化影响的案例研究

# 关于匿名化沿 RAG 管道的影响的案例研究

来源: https://arxiv.org/html/2604.15958

Andreea-Elena Bodea
[email protected] (https://arxiv.org/html/2604.15958v1/mailto:[email protected])
慕尼黑工业大学计算、信息与技术学院
加兴，德国

Stephen Meisenbacher
[email protected] (https://arxiv.org/html/2604.15958v1/mailto:[email protected])
慕尼黑工业大学计算、信息与技术学院
加兴，德国

Florian Matthes
[email protected] (https://arxiv.org/html/2604.15958v1/mailto:[email protected])
慕尼黑工业大学计算、信息与技术学院
加兴，德国

(2026)

###### 摘要

尽管检索增强生成（RAG）前景广阔，但许多真实应用场景可能存在隐私顾虑，RAG 洞察的实用价值可能伴随向大语言模型或最终用户暴露私密信息的风险。作为潜在缓解方案，使用匿名化技术从基础数据中移除个人可识别信息（PII）和其他敏感标记是 RAG 管理员实际合理的做法。尽管该主题文献众多，但没有研究考虑沿 RAG 管道的**匿名化位置**，即问题是**匿名化应该在哪里进行？**

在本案例研究中，我们系统地实证测量了沿 RAG 管道两个重要位置的匿名化影响：**数据集**和**生成答案**。我们展示了隐私-实用性权衡的差异取决于匿名化发生的位置，展示了隐私风险缓解位置在 RAG 中的重要性。

**关键词:** RAG、检索增强生成、隐私、匿名化、差分隐私、案例研究

††期刊年份:2026††版权:cc††会议:第 12 届 ACM 国际安全和隐私分析研讨会；2026 年 6 月 23-25 日；德国法兰克福††文集:第 12 届 ACM 国际安全和隐私分析研讨会论文集 (IWSPA '26)，2026 年 6 月 23-25 日，德国法兰克福††doi:10.1145/3806007.3810957††isbn:979-8-4007-2609-5/2026/06††ccs:安全与隐私 数据匿名化与清洁††ccs:安全与隐私 隐私保护††ccs:计算方法 自然语言处理

## 1. 引言

通过将大语言模型的上下文语言能力与新颖或专有数据库相结合，检索增强生成（RAG）范式（Lewis et al., 2020）有能力从非结构化文本数据集中解锁洞察，从而绕过大语言模型的"知识截断日期"（Li et al., 2025）。因此，RAG 使企业和最终用户能够与这些数据交互，而无需进行昂贵的大语言模型训练（Fan et al., 2024; Zhao et al., 2026）。

然而，将私密信息与大语言模型耦合时，RAG 会引入潜在风险（Bodea et al., 2026）。当考虑专有或敏感数据直接暴露给大语言模型，最终暴露给最终用户时，数据隐私顾虑就会出现，特别是考虑到已知的大语言模型隐私问题（Wang et al., 2025）。无论是否被恶意利用，此类风险都可能导致数据泄漏或 RAG 系统故障，破坏 RAG 的承诺（Zhou et al., 2024; Fan et al., 2024; Zeng et al., 2024）。

在调查 RAG 的隐私风险问题时，Zeng et al. (2024) 调查并形式化了隐私威胁模型，该模型围绕恶意攻击带来泄漏风险展开。在此过程中，RAG 系统的基础数据库面临被泄漏的特殊风险，无论是在答案生成期间向大语言模型泄漏，还是向最终用户泄漏（无论是否怀有恶意）。

在研究防御 RAG 中隐私风险的潜在防御措施时，许多最近的研究主要对原始文本文档或传入的用户提示提出或评估匿名化措施（Huang et al., 2023; Li et al., 2023; Zhou et al., 2024; Cohen et al., 2024; Ward and Harguess, 2025; Kulshrestha et al., 2025; Fang et al., 2025; Hussain, 2025; Mehta and Patel, 2025）。这些研究中的匿名化通过多种方式完成，包括完整移除、掩盖或以其他方式过滤目标文本中的 PII 和敏感信息。

在我们对先前工作的审查中，我们观察到没有研究在 RAG 管道的多个位置评估匿名化。相比之下，此类研究通常为缓解措施选择单个位置，如检索阶段或用户提示。类似地，直接文本转文本匿名化对内部 RAG 组件（如基础知识库（文本语料库）或生成的大语言模型响应）的影响仍未充分研究。这是一个重大空白，令人不清楚匿名化如何能影响嵌入匿名化程序的 RAG 系统的隐私和实用性。这对于建立 RAG 中隐私保护的最佳实践变得重要，RAG 的应用继续增加。

我们设计了一个案例研究，在测试 RAG 管道的两个关键点实现并评估了多种匿名化方法：数据库存储和答案生成。我们系统地测量了在这两个阶段匿名化文本对隐私和实用性的影响，并严格分析了这些选择对 RAG 性能和风险缓解的影响。我们的结果表明，缓解位置很重要，因为根据执行匿名化的位置，实用性和隐私可能会显著不同。我们还发现"更简单的"匿名化方法通常比基于差分隐私（DP）的方法导致更好的 RAG 性能，产生更有利的权衡。

我们对 RAG 隐私研究做出以下贡献：

1. (1) 我们首次分析了沿 RAG 管道的各个位置进行匿名化的影响，调查了缓解位置如何影响 RAG 系统性能。
2. (2) 我们提供了 RAG 管道中匿名化益处的证据，能够在显著降低隐私风险的同时保持性能。
3. (3) 参见图 1

**图 1.** 我们的实验管道，它调查了 RAG 过程两个阶段的文本匿名化。

## 2. RAG 中的匿名化：案例研究

我们进行了一项案例研究，以测量 RAG 系统中两个位置的匿名化时的实用性和隐私之间的权衡。

### 2.1. 实验设置

我们的实验测试了包括传统和基于 DP 方法的六种缓解技术（Dwork, 2006）。第一个实验直接对原始文本数据集进行匿名化（简称为答案生成**前**（PRE））。第二个实验关注 RAG 的最后阶段，在输出前对基于原始文本生成的答案进行匿名化（答案生成**后**（POST））。我们用我们实现的系统利用三个开源数据集，并使用多个指标评估实用性和隐私。我们的实验概述在图 1 中给出。

整个实验，包括数据和 RAG 设置、匿名化、RAG 接口和评估，都在 Apple MacBook M1 Pro (16GB RAM) 上执行。

#### 2.1.1. RAG 系统设计

为实验实现的 RAG 系统利用 LlamaIndex（一个用于构建大语言模型应用的流行开源框架）与 Pinecone（一个基于云的向量数据库）相结合。RAG 系统在三个主要阶段实现，下文概述。

**嵌入和索引**。系统利用 OpenAI 的 text-embedding-3-small 模型。根据大小，每个文档首先被分块，然后每个片段被嵌入。生成的向量存储在 Pinecone 中，配置了余弦相似性指标以进行高效的语义检索。每个向量包括文本的**类型**作为元数据，即原始的或用特定方法匿名化的，启用精确检索。

**上下文检索**。要进行查询，系统访问 Pinecone 索引，应用元数据过滤器以确保对语料库中特定文档的有针对性检索（以顺序测试每个文档）。我们的搜索检索前 2 个最相关的块，因为没有文档需要超过两个块。

**响应生成**。检索到的块被传递给 gpt-4o-mini (2024-07-18)，它将上下文综合为连贯和知情的响应。温度设置为 0 以确保可重复性并降低评估中的变异性。

#### 2.1.2. RAG 系统任务

如图 1 所示，大语言模型被任务要求回答两个提示：总结和 PII 检测。第一个任务（表 2）测试大语言模型是否能够提取中心思想、主要细节和其他重要事实。我们选择生成简洁和事实性总结来评估匿名化方法是否阻碍意义的保留。生成的总结的质量随后使用各种实用性指标进行评估。RAG 系统的第二个任务（表 3）是在原始文本和每个匿名化版本中检测隐私和敏感信息。此任务的答案随后使用大语言模型即判官方法进行评估，以评估所选的匿名化方法的 PII 泄漏。

#### 2.1.3. 数据集

我们使用三个包含 PII 和其他敏感信息的公开数据集，创建了 RAG 隐私的可信测试案例。

**BBC 新闻**（Greene and Cunningham, 2006）。跨五个类别的 BBC 新闻文章集合。我们选择 2000 到 5000 字符之间的文章，以及仅包含 25 到 100 个 PII 实体的文章，由 Microsoft Presidio 确定。这导致 513 个文档，我们从中选择基于 PII 数量的前 300 个。

**安然电子邮件**（Klimt and Yang, 2004）。安然公司员工电子邮件的大型集合。我们使用由 Meisenbacher et al. (2025) 准备的拆分，从那些字符数少于 7500 的文档中选择基于 PII 的前 300 个文档的子集。

**TAB 语料库**（Pilán et al., 2022）。文本匿名化基准（TAB）是在 1286 个欧洲人权法院（ECHR）法律诉讼基础上构建的基准。该语料库对于基准匿名化很有用，因为它包含许多与法院案件中个人相关的直接和间接标识符。我们从数据集的训练拆分中选择了 200 个案例的子集。

#### 2.1.4. 匿名化

我们测试了六种匿名化方法，三种基于 PII 的（即实体基础的）和三种基于 DP 的。

**PII 删除**。我们用 Presidio 检测 PII 实体，不进行替换而删除所有实体。

**PII 标记**。与其删除相反，**标记**用占位符替换所有提取的实体，例如 `<PERSON>` 或 `<EMAIL>`。

**用合成数据替换 PII**。OpenAI 的 gpt-3.5-turbo-instruct 被提示用合成替代品替换 PII 标签（从上面），使用表 1 中找到的提示。

**表 1.** 合成 PII 替换的提示。

您的角色是基于用 PII 占位符替代的反识别文本创建合成文本。用虚假值替换占位符（例如 `<PERSON>`、`<EMAIL>`）。

说明：
a. 使用完全随机的数字，因此每个数字在 0 到 9 之间。
b. 使用来自不同性别、民族和国家的现实名字。
c. 如果没有占位符，原样返回文本。
d. 尽可能保持格式接近原始。
e. 如果输入中存在 PII，将其替换为输出中的虚假值。
f. 移除生成文本前后的空格。

输入: 是 NASA 的首席科学官。
输出: Katherine Buckjov 是 NASA 的首席科学官。

输入: 住在。
输出: Volodymyr 住在乌克兰。

输入: {anonymized_text}
输出:

**1-Diffractor**（Meisenbacher et al., 2024a）。一种度量 DP 词混淆方法。我们通过用 1-Diffractor 的输出替换文档中的每个单词来匿名化文本。对于隐私参数 (ε)，我们选择 ε ∈ {1, 2, 3}（每个单词），镜像原始工作。

**DP-Prompt**（Utpala et al., 2023）。一种生成型 DP 文本重写方法，通过用语言模型简单提示来执行文本匿名化。根据先前工作（Meisenbacher et al., 2024b），我们使用 Google 的 flan-t5-large 模型（Chung et al., 2024），并遵循与原始工作相同的提示方法和 ε 值 ({150, 200, 250})（Utpala et al., 2023）。

**DP-MLM**（Meisenbacher et al., 2024b）。一种基于 DP 的文本私有化方法，利用掩蔽语言模型（MLM）。该方法逐字匿名化文本以实现具有 DP 保证的私有文档。我们选择隐私预算 ε ∈ {50, 75, 100}。

**注释**。在 DP 中，较低的 ε 代表更强的隐私保证。

#### 2.1.5. 实验管道和评估指标

我们评估了 RAG 系统的实用性和隐私，即使用来自六种选定方法的匿名化数据，用于 PRE 和 POST 设置。对于答案生成前（PRE）设置，位于数据库中的每个 800 个文档（BBC 300 个、Enron 300 个、TAB 200 个）都使用四种方法进行匿名化，每个文档产生总共 12 个文本变体（3 个 Presidio 变体，每个 DP 方法 3 个 ε 变体）。这些 9600 个匿名文本版本与原始版本一起被嵌入到向量数据库中，并使用元数据过滤器按顺序检索，用于总结和 PII 检测问题（图 1，顶部）。随后使用实用性和隐私指标评估生成的 20,800 个答案。

对于 POST 设置，数据库中不使用匿名文档版本，仅使用原始版本。基于 800 个原始文档的顺序检索的嵌入，答案用于总结...