大语言模型中的预训练数据暴露：成员推理、数据污染及安全影响综述

arXiv cs.CL 论文
large-language-models pretraining-data membership-inference data-contamination security survey

摘要

统一综述大语言模型中的预训练数据暴露（PDE），涵盖成员推理、数据污染和安全影响，并回顾了攻击与防御方法。

arXiv:2605.26133v1 Announce Type: new 摘要：大型语言模型（LLMs）已成为自然语言处理的主流范式，推动了研究和工业发展。随着模型规模和预训练数据的增长，由于训练数据集的规模和透明度问题，对预训练数据暴露（PDE）的担忧也随之增加。PDE指的是确定特定数据是否出现在LLM的预训练语料中，这对于确保评估完整性和保护隐私至关重要，涉及数据污染和成员推理两个关键领域。尽管概念上相关，但这些领域往往被孤立研究。本文首次在PDE框架下对两者进行统一综述。我们形式化定义了不同暴露级别下的PDE，回顾了攻击与防御方法，综合了实证发现，并强调了公开挑战和未来研究方向。
查看原文
查看缓存全文

缓存时间: 2026/05/27 09:02 

# 大型语言模型中的预训练数据暴露：成员推理、数据污染与安全影响综述
来源：https://arxiv.org/abs/2605.26133
查看 PDF (https://arxiv.org/pdf/2605.26133)

> 摘要：大型语言模型（LLMs）已成为自然语言处理领域的主导范式，推动了研究与产业的双重进步。随着模型规模和预训练数据的不断增长，由于训练数据集的规模庞大且不透明，对预训练数据暴露（PDE）的担忧日益加剧。PDE指的是判断特定数据是否出现在LLM的预训练语料中。这一研究对于确保评估完整性和保护隐私至关重要，涵盖了两个关键领域：数据污染和成员推理。尽管这两个领域在概念上相互关联，但以往往往被孤立研究。本文首次在PDE框架下对两者进行了统一综述。我们基于暴露级别形式化定义了PDE，综述了攻击与防御方法，综合了实证发现，并强调了当前存在的挑战与未来研究方向。

## 提交历史

来自：Ziyi Tong [查看邮箱 (https://arxiv.org/show-email/b0924af4/2605.26133)] **\[v1\]** Thu, 21 May 2026 10:32:33 UTC (61 KB)

相似文章

大语言模型预训练的数据混合：综述与展望

arXiv cs.CL

# 大语言模型预训练的数据混合：综述与展望 来源：[https://arxiv.org/abs/2604.16380](https://arxiv.org/abs/2604.16380) [查看 PDF](https://arxiv.org/pdf/2604.16380) > 摘要：大型语言模型（LLMs）依赖于在海量且异构的语料上进行预训练，在现实中的计算和数据预算限制下，训练数据的构成对训练效率和下游泛化能力有着决定性的影响。与样本级的数据选择不同，数据混

大型语言模型中的预填充意识

arXiv cs.AI

本文研究前沿语言模型能否检测其先前的助手消息被插入或编辑的情况（即预填充意识）。研究发现，像Claude Opus 4.5这样的模型表现出显著的预填充意识，能在不产生误报的情况下检测出高达35%的篡改预填充案例，这可能损害基于预填充的安全评估的有效性。