标签
本文介绍了Sampled-BPE，一个轻量级的标记级审计流水线，用于中文网络规模语料库，并应用它揭示了开放中文数据集和Common Crawl快照中广泛但不均匀的污染。文章还发布了一个包含超过63万条带上下文和解释的污染标记记录的分层数据集。