SynthSentry：检测语言模型训练数据中的合成数据污染

arXiv cs.CL 论文
synthetic-data-detection language-models contamination-screening data-curation corpus-analysis open-source-toolkit

摘要

SynthSentry介绍了一种语料库级别、模型无关的方法，用于检测语言模型训练数据中的合成数据污染，无需访问生成模型，基于词汇、n-gram和困惑度统计的分布散度。

arXiv:2609.12353v1 宣布类型：新 摘要：大型语言模型在其自身或其他模型的输出上递归训练时会发生模型崩溃，其中分布尾部和事实准确性恶化，而流畅性得以保留。先前的工作在训练后诊断崩溃；可操作的问题是在训练前筛选来源不明的语料库。我们引入SynthSentry，一个语料库级别、模型无关的污染信号，无需访问生成模型、无需生成历史、无需合成标签。分数基于三个统计的分布散度：词汇多样性崩溃、n-gram尾部截断和跨参考模型的困惑度方差。我们在被小规模开放权重生成器和一个指令调优开放权重模型污染的语料库上进行评估，采用留一生成器外协议。领域分层研究测量了自然重复人类文本（法律、临床、源代码）的误报。分数对语料库按严重程度排序，当整个生成器家族被排除时损失很小。一旦协方差收缩和自举阈值取代天真分位数，每个领域的校准接近其名义误报预算，而天真分位数运行超出预算四倍。下游微调检查显示在我们规模下没有污染驱动的准确性缺陷，因此剪枝是否恢复仍然开放；同样的运行显示一旦剪枝超过真实污染比例，存在过度剪枝风险。我们将筛选框架为数据管理防御而不是事后诊断，并发布评分工具包。所有结果都是小规模的；范围是英语、批处理模式语料库筛选。污染源是单次生成或手工编写而不是递归生成，因此结果适用于一般合成污染而不是递归深度。
查看原文
查看缓存全文

缓存时间: 2026/09/14 08:33 

# SynthSentry：检测语言模型训练数据中的合成数据污染
来源：https://arxiv.org/abs/2609.12353
查看PDF (https://arxiv.org/pdf/2609.12353)

> 摘要：在自身或其它模型的输出上进行递归训练的大型语言模型会发生模型崩溃，其特征是分布尾部和事实准确性恶化，而流畅性得以保留。现有研究多在训练后诊断崩溃问题；而实际需要解决的是在训练前筛选来源不明的语料库。我们提出SynthSentry，这是一种语料库层面、与模型无关的污染检测信号，无需访问生成模型、无需生成历史记录，也不需要合成标签。该评分基于三项统计量的分布散度：词汇多样性崩溃、n-gram尾部截断以及跨参考模型的困惑度方差。我们在被小型开源生成器和指令微调开源模型污染的语料库上进行评估，采用"留一生成器"的实验方案。一项按领域分层的研究测量了在自然重复的人类文本（法律、临床、源代码）中的假阳性率。该评分能按污染严重程度对语料库进行排序，即使整个生成器家族被排除在外时性能损失也很小。当采用协方差缩减和自助阈值替代朴素分位数法（该方法会产生四倍于预算的假阳性）后，按领域校准的结果接近名义假阳性率。下游微调检查显示在当前规模下未发现污染导致的准确性损失，因此剪枝是否能恢复性能仍待验证；同一实验表明当剪枝比例超过真实污染比例时存在过度剪枝风险。我们将筛查定位为数据管理层面的防御措施，而非事后诊断，并发布了评分工具包。所有结果均为小规模实验；研究范围限于英语语料的批量筛查模式。污染来源为单次生成或人工编写内容而非递归生成，因此结果适用于一般合成污染情况，而非递归深度的影响。

## 提交历史

来自：Praveen Kumar Myakala [查看邮件 (https://arxiv.org/show-email/a2366d7f/2609.12353)] **[v1]** 2026年9月11日 星期五 02:25:18 UTC（544 KB）

相似文章

无需训练的合成：面向表格、时序与关系型数据的纯推理合成数据流水线

arXiv cs.LG

论文提出 GenScript，一种纯推理的合成数据流水线。它不再针对每个数据集训练模型，而是将源数据的确定性统计画像输入 LLM，由其推断字段语义与完整性约束，再由编码代理将其编译为可审计的采样器。该方法统一了表格、时序与关系型数据的合成，可在几分钟内构建生成器，同时在保真度上接近领先方法，并保留关键的完整性约束。

DataDignity：用于大型语言模型的训练数据归属

arXiv cs.AI

本文介绍了 DataDignity，这是一个针对精准溯源（pinpoint provenance）的框架与基准（FakeWiki），旨在识别支持大语言模型（LLM）回答的具体训练数据来源。文章提出了 ScoringModel 和 SteerFuse 两种方法，以在标准检索基线之上提高归属准确率。