警惕差距：PII检测系统中的鲁棒性风险

# 警惕差距：个人可识别信息检测系统的鲁棒性风险
来源：https://arxiv.org/html/2609.03464
Sławomir Nowaczyk 附属机构：瑞典哈尔姆斯塔德大学应用智能系统研究中心 电子邮箱：[{adeel.zafar, slawomir.nowaczyk}@hh.se](mailto:{adeel.zafar,%20slawomir.nowaczyk}@hh.se)

###### 摘要

个人可识别信息（PII）检测是数据保护基础设施的基础组件，漏检实体直接构成隐私和安全风险。尽管现代PII系统在标准基准上报告了强劲性能，但我们表明这些评估掩盖了在部署中遇到的现实分布偏移下的显著鲁棒性失败。我们并非比较最先进的准确度，而是研究不同的PII检测范式在嘈杂、非结构化和非正式输入下如何失败。我们构建了一个压力测试基准，涵盖七类自然分布偏移，并评估了来自三个广泛部署架构族的代表性系统：基于编码器的NER（SpaCy）、基于规则的混合检测（Presidio）以及生成式大语言模型提取（Qwen2.5-3B）。

所有三个系统在分布外输入上均表现出显著性能下降，但具有明显且互补的失败模式。编码器模型主要在未见过的表层形式和边界检测上失败，基于规则的系统在非标准格式上失败，而大语言模型则表现出实体类型混淆和生成不稳定。这些结果表明，聚合的基准分数掩盖了部署关键的弱点，并且没有单一架构在所有PII类别上均可靠。基于这些发现，我们提出了一种带有问答驱动反馈循环的混合检测管道，用于迭代风险缓解，并发布了我们的基准以支持对PII系统进行分布外感知的评估。

###### 关键词：

个人可识别信息检测 数据保护 分布外鲁棒性 命名实体识别 隐私风险评估

## 1 引言

PII检测是现代自然语言处理管道中的安全关键任务，也是数据保护基础设施的基础组件。组织依赖这些系统在数据存储、共享或处理之前识别和编辑敏感实体。漏检实体不仅仅是准确度不足，而是在GDPR等法规下可能带来严重后果的数据保护失败。随着组织越来越多地自动化处理客户数据、医疗记录和金融文档管道中的PII编辑，这些系统的可靠性直接关系到安全问题。当前的PII检测系统，无论是基于编码器的，基于规则的Presidio[^1]，还是基于大语言模型的，在标准基准上报告的F1分数均超过90%。然而，这种信心具有误导性，因为这些基准由来自新闻文章和百科全书来源的、编辑良好、结构正式的文本组成，而现实世界的输入是杂乱无章、非结构化且因领域而异的。

[^1]: Presidio：数据保护和去标识化。可在：https://microsoft.github.io/presidio/ 获取。访问日期：2026年7月。

当PII检测系统部署在不同垂直领域时，分布偏移问题更加复杂。在通用语料库上训练的模型，在医疗记录、金融文档、客户支持记录或社交媒体中会遇到根本不同的语言模式。实体类型可能相同，但周围的上下文、格式惯例和词汇差异很大。这些跨领域偏移与我们本文研究的文本杂乱性相互作用，产生了当前基准未能捕捉的复合挑战。

我们的目标不是确定单一最先进的PII检测器，而是研究根本不同的检测范式在现实分布偏移下如何失败。因此，我们评估了来自三个广泛部署架构族的代表性系统：基于编码器的NER、基于规则的混合检测和生成式大语言模型提取。通过比较定性不同的检测机制，而不是优化排行榜性能，我们旨在表征聚合基准分数所掩盖的互补性鲁棒性失败。

在我们的评估中，我们发现所有三个架构族在非结构化输入上均表现出显著且系统的性能下降。灵活格式的实体（如位置和地址）受影响最大，所有模型的位置召回率从0.725降至0.457，而僵硬格式的实体（如SSN和IP地址）基本不受影响。关键的是，每个架构在相同输入上失败的方式不同。考虑以下示例：

> “姓名 William Stevenson 地址 588 Erickson Hills Suite 055 South Brandytown, PA 社会安全号 486-34-9478 出生日期 08/21/1981”

编码器模型检测到人名但漏掉了位置。基于规则的混合系统检测到人名、SSN和出生日期但也漏掉了位置。大语言模型检测到大多数实体，但将城市吸收到一个单一的地址跨度中，而不是单独提取出来。每个架构都因不同的内部原因失败，但PII在输出中仍然暴露。

一个自然的问题是，既然大语言模型日益主导自然语言处理任务，为什么要评估编码器和基于规则的模型？我们的结果提供了明确的答案：没有单一架构在PII检测上具有普遍优势。大语言模型取得了最佳的整体F1分数，但显示PERSON（人名）召回率低于SpaCy（0.777 vs 0.951），CREDIT_CARD（信用卡）检测效果差于Presidio（0.543 vs 0.700），在2.5%的分布外输入上产生不可解析的输出，并且大规模运行时速度慢且成本高出数个数量级。同时，Presidio的正则表达式模式实现了完美的SSN和IP检测，这是大语言模型无法匹敌的，而SpaCy提供了可靠、快速的人名检测。理解这些权衡对于构建平衡准确性、延迟、成本和可靠性的生产级PII系统至关重要。

在本文中，我们做出三项贡献：（1）我们刻画了在现实分布偏移下PII检测中特定于架构的失败模式，表明编码器、基于规则和大语言模型系统以独特且互补的方式失败；（2）我们构建了一个压力测试基准[^2]，涵盖七类自然分布偏移；（3）我们主张进行分布外感知评估，并构建结合互补架构优势的混合检测管道。

[^2]: 源代码：https://github.com/Adeelzafar/Mind-the-Gap-PII

## 2 相关工作

### 2.1 命名实体识别与PII检测

命名实体识别（NER）已通过几种架构范式发展演进。早期的统计方法使用条件随机场（CRF）和隐马尔可夫模型（HMM），随后是结合双向长短时记忆网络（BiLSTM）与CRF层的神经架构。预训练Transformer模型的引入标志着一个重大转变，BERT及其变体（如DeBERTa）通过在CoNLL-2003和OntoNotes 5.0等标准基准上进行基于标记的BIO分类取得了强劲的结果。

PII检测建立在NER的基础上，但扩展到更广泛的实体类型，包括传统NER模型未涵盖的结构化标识符，如电话号码、电子邮件地址、社会安全号码和信用卡号码。微软Presidio通过结合基于规则的结构化PII模式匹配与基于机器学习的命名实体识别器来解决这个问题，代表了一种混合架构方法。Presidio在行业中获得了显著采用，已集成到微软的Azure AI服务中，并在医疗、金融和政府领域用于数据去标识化工作流。最近，生成式大语言模型已被探索用于信息提取任务，GPT-NER证明了大语言模型可以通过提示执行NER，无需任务特定微调。像Qwen这样的小型开源模型使基于大语言模型的提取变得可行，适用于对延迟和成本敏感、无法使用更大模型的生产部署。

所有这些方法的一个关键挑战是PII实体类型跨越了格式刚性的广泛谱系。一些类型（如SSN和IP地址）遵循严格的模式，可以通过正则表达式可靠捕获，而其他类型（如人名和位置）是灵活格式实体，其识别依赖于上下文理解。这种谱系对分布外鲁棒性有影响，据我们所知，尚未被系统地研究。

### 2.2 自然语言处理中的分布偏移与鲁棒性

自然语言处理模型在分布偏移下的脆弱性已在多个任务和领域中被记录。WILDS基准在视觉和语言任务中均展示了系统的分布外性能差距，确立了分布偏移是一个普遍存在的挑战，而非特定任务的异常现象。Robustness Gym提供了一个统一框架，用于评估自然语言处理模型在多个维度（包括子群体分析和变换测试）上的鲁棒性。

针对NER本身，先前工作已通过受控扰动研究了鲁棒性。Agarwal等人引入了实体切换数据集，通过用同类型替代实体来审计域内鲁棒性，揭示模型通常依赖于记忆的实体形式而非上下文模式。Lin等人提出了RockNER，通过从Wikidata进行实体替换生成对抗性样本来评估NER鲁棒性。然而，这两种方法都使用了人为构建的扰动，针对孤立的单一失败模式。现实世界的输入表现出多个同时发生的偏差（缺少标点、非正式语调、模糊边界、混合实体上下文），这些以复杂的方式相互作用，单一维度的扰动无法捕捉。

对NER模型的跨领域评估表明，当在某个领域（例如新闻）训练的模型应用于另一个领域（例如科学或政治）时，即使实体类型保持不变，性能也会显著下降。这一发现与PII检测直接相关，在通用语料库上训练的系统被部署在医疗、金融、法律和客户支持等具有显著不同语言特征的垂直领域。然而，跨领域NER评估主要关注领域词汇和主题偏移，而非现实世界用户生成的PII输入所具有的文本杂乱性和格式不规则性。

### 2.3 命名实体识别的持续学习

一个相关挑战出现在需要在新数据上迭代改进NER模型时。Monaikul等人研究了NER的持续学习，并表明在新实体类型上训练的模型面临灾难性遗忘先前学习类型的风险。Xia等人提出在重新训练期间复习合成样本以缓解这种遗忘效应。这一研究方向与我们提出的问答驱动改进循环直接相关（第5节），其中利用生产中的失败案例来迭代地重新训练模型。修复一个失败类别可能导致另一个类别性能下降的风险，使得系统回归测试至关重要。

### 2.4 现有工作的空白

尽管在NER鲁棒性、分布偏移和持续学习方面有大量工作，我们在其交集处针对PII检测识别出了一个空白。没有现有基准系统地评估生产部署中典型的自然分布偏移下的PII检测，例如无标点的连续文本、会话语言、缩写或语码转换。现有的鲁棒性评估使用人为扰动，不能反映真实用户实际的输入方式。此外，之前没有工作在相同的分布外基准上比较基于编码器、基于规则和基于大语言模型的PII检测架构，以刻画其互补的失败模式。我们的工作同时解决了这两个空白。

## 3 基准设计

我们构建了一个压力测试基准，包含两个评估集，旨在衡量分布内和分布外性能之间的差距。

### 3.1 集A：清洁基线

集A包含100个格式良好的示例，具有正确的标点、大写和清晰的实体边界。我们使用10个手动编写的模板，并用Python Faker库生成的合成PII值填充，产生350个实体标注（平均每个示例3.5个），涵盖9种类型：人名、位置、地址、电话、电子邮件、IP地址、社会安全号、出生日期和信用卡。这些示例反映了CoNLL等标准基准的格式惯例。

### 3.2 集B：分布外压力测试

针对七种分布偏移类别（表1），我们编写了8个捕捉特征偏移的模板。每个模板用不同的随机实体实例化10次，每类产生80个示例，共560个示例，包含2,330个实体标注（平均每个示例4.2个）。通过生成过程自动获得金标准跨度标注，因为我们精确控制插入每个模板的PII值。表2总结了数据集统计信息。

表1：分布偏移类别及代表性示例。
表2：按类别划分的基准统计数据。混合上下文PII具有最高的实体密度，而重叠实体最低。

## 4 实验

### 4.1 模型

我们评估了代表不同PII检测方法的架构族（实体覆盖范围见表3）：SpaCy `en_core_web_lg`[^3]，一个基于编码器的通用NER模型，支持多种实体类型（例如，PERSON、ORG、GPE）；微软Presidio，一个结合基于规则（例如，正则表达式）的结构化PII识别器与用于命名实体的NLP模型的混合框架；以及Qwen2.5-3B-Instruct[^4]，一个经过指令微调的大语言模型，使用零样提示进行跨实体类型的灵活提取。

[^3]: spaCy：Python中的工业级自然语言处理。可在：https://spacy.io/ 获取。访问日期：2026年7月。
[^4]: 实现可在Hugging Face模型中心获取：https://huggingface.co/Qwen/Qwen2.5-3B-Instruct。访问日期：2026年7月。

选择这三个模型是为了覆盖一系列检测机制，而不是代表每个范式内的峰值性能。SpaCy代表了编码器范式，其中每个标记基于从标记训练数据中学到的双向上下文独立分类。Presidio代表了混合范式，其中结构化PII类型通过确定性模式匹配检测，而命名实体由底层的NER模型处理（在Presidio的默认配置中是SpaCy）。Qwen代表了解码器范式，其中实体提取被构建为文本生成任务，允许灵活适应未见过的实体格式。