大规模语言模型预训练中可扩展的频次与长度感知子文档去重

# 面向大规模语言模型预训练的可扩展频率与长度感知子文档去重

Source: https://arxiv.org/html/2608.03089

Hai Wang∗† Chenhao Wang∗ Qifeng Cai∗ Yixiu Liu Miao Peng Nuo Chen Yuanlin Tu Chengcheng Xu Feng Zhang Hunyuan Team, Tencent

###### 摘要

大型预训练语料包含大量重复内容。尽管文档级去重被广泛使用，但移除子文档级冗余仍具挑战性。在语料库规模上，基于后缀数组的方法通常被独立应用于各个分片，导致跨分片的重复无法被检测，并使最终的保留行为对分片配置敏感。基于哈希的方法能够实现全局精确重复计数，但往往依赖固定的副本保留策略，无法适应异质的重复模式。我们提出了一个可扩展的子文档去重框架，将重复检测与副本保留解耦。它通过自然边界分割、规范化精确哈希和分布式聚合来识别重复组，然后应用显式的频率与长度感知保留策略，为每个重复组分配自适应的副本预算：对低频或短重复保留更多副本，同时对高频或长重复进行更激进的删除。在 FineWeb-Edu 和包含代码的网页语料上的实验表明，使用我们方法处理的数据训练的模型在所评估的设置中取得了最佳整体性能。这些结果凸显了显式副本保留控制的重要性。

††脚注文本：∗同等贡献。†项目负责人。

## 1 引言

预训练是大语言模型获取通用知识和基础能力的关键阶段，其效果不仅取决于训练数据的规模，还取决于数据质量 (Hoffmann et al., 2022 (https://arxiv.org/html/2608.03089#bib.bib38); Li and others, 2024 (https://arxiv.org/html/2608.03089#bib.bib8); Penedo et al., 2024 (https://arxiv.org/html/2608.03089#bib.bib11))。然而，大规模预训练数据往往包含大量重复内容，例如网页模板、公告、引用文本、复制的代码，以及由不同版本产生的重复片段 (Dodge et al., 2021 (https://arxiv.org/html/2608.03089#bib.bib35); Lee et al., 2022 (https://arxiv.org/html/2608.03089#bib.bib4); Kohlschütter et al., 2010 (https://arxiv.org/html/2608.03089#bib.bib62))。这种重复浪费了有限的训练计算资源，并可能导致模型性能出现不成比例的下降，而这种下降可能无法通过训练更多 token 来完全弥补 (Hernandez et al., 2022 (https://arxiv.org/html/2608.03089#bib.bib19))。因此，去重已成为大语言模型预训练数据预处理流程中的关键步骤。

大多数现有预训练流程都包含文档级去重，通常使用精确哈希或基于 MinHash 的近似重复检测 (Broder, 1997 (https://arxiv.org/html/2608.03089#bib.bib1); Gao et al., 2020 (https://arxiv.org/html/2608.03089#bib.bib6); Penedo et al., 2024 (https://arxiv.org/html/2608.03089#bib.bib11); Grattafiori and others, 2024 (https://arxiv.org/html/2608.03089#bib.bib7))。这些方法高效且可扩展，但将整个文档作为去重单位。然而，在真实语料中，重复内容往往只覆盖文档的一部分 (Lee et al., 2022 (https://arxiv.org/html/2608.03089#bib.bib4))。例如，内容互不相同的文档可能共享网页模板、导航栏、版权声明、引用段落或代码片段。降低文档相似度阈值可能会检测到更多此类局部重叠，但也有可能删除那些仅包含少量共享文本、同时拥有大量独特内容的文档。因此，文档级去重在去除局部冗余的同时，难以避免丢弃有价值的文档特定内容。

为解决这一局限，一些数据处理流程采用了子文档去重，即在更细粒度上（如段落、句子、行或子串）识别并移除文档中的重复区域 (Wenzek et al., 2019 (https://arxiv.org/html/2608.03089#bib.bib5); Penedo et al., 2024 (https://arxiv.org/html/2608.03089#bib.bib11); Gohari et al., 2026 (https://arxiv.org/html/2608.03089#bib.bib63))。已有工作表明，移除重复子串可以减少逐字记忆并提高训练效率 (Lee et al., 2022 (https://arxiv.org/html/2608.03089#bib.bib4))。

子文档去重提出了三个核心问题：(1) *如何定义和检测重复内容*；(2) *如何在大规模语料上扩展检测*；(3) *对于每个检测到的重复，应保留多少副本*。重复的定义取决于检测单位和匹配标准。后缀数组可以识别可变长度的精确重复，而无需预定义分割边界；基于分割的方法则先将文档划分为自然单位，然后使用精确或近似信号对这些单位进行匹配。尽管后缀数组提供了灵活的基于子串的检测，但在语料规模上构建和查询单一全局后缀数组成本很高。因此，实际实现通常将语料划分为多个分片，并在每个分片内独立进行匹配 (Lee et al., 2022 (https://arxiv.org/html/2608.03089#bib.bib4); Penedo et al., 2023 (https://arxiv.org/html/2608.03089#bib.bib10); Gohari et al., 2026 (https://arxiv.org/html/2608.03089#bib.bib63))。由于被分配到不同分片的副本永远不会被相互比较，分片局部匹配只能观察到每个全局重复组在分片内的部分，而无法直接揭示其全局频率。因此，去重结果对分片的数量和构成都很敏感，因为这些因素决定了哪些重复副本会被放在一起，从而能够被检测到。

相比之下，基于分割的哈希方法天然适合分布式键值聚合，使得相同单位可以在全局范围内被计数，而无论其物理分区如何。其主要局限在于：当重复跨越预定义分割边界，或作为某一分割单元内的子串出现时，这些重复将无法被检测到。

即使在识别出重复组之后，决定保留多少副本仍然是一个关键问题。在分片式后缀数组流程中，副本保留由分片局部共现隐式决定，而非根据每个重复组的全局频率显式控制。尽管基于哈希的聚合可以直接计算全局重复频率，现有流程通常采用与频率无关的保留策略，例如仅保留一个副本或保留 k 个副本 (Wenzek et al., 2019 (https://arxiv.org/html/2608.03089#bib.bib5); Penedo et al., 2024 (https://arxiv.org/html/2608.03089#bib.bib11))。这类策略无法适应真实语料中存在的异质重复模式。高频重复片段更可能对应网页模板、自动生成内容或其他低信息密度结构，因此可能值得进行更强的压缩 (Kohlschütter et al., 2010 (https://arxiv.org/html/2608.03089#bib.bib62); Wenzek et al., 2019 (https://arxiv.org/html/2608.03089#bib.bib5))。相比之下，低频重复可能源于合理的引用、版本演变或局部内容复用，仍可能包含有用信息 (Muennighoff et al., 2023 (https://arxiv.org/html/2608.03089#bib.bib20))。因此，合适的保留策略应根据每个重复组的频率和长度自适应调整保留副本预算，而不是统一分配相同的预算。

为解决上述局限，我们提出了一个可扩展的子文档去重框架，将重复检测与副本保留显式解耦。在重复检测方面，我们在自然边界处对文档进行分割，并使用规范化精确哈希与分布式聚合，从而无论分片如何放置，相同重复单位的所有出现都能够在全局范围内被计数。在副本保留方面，我们引入了一个显式的保留函数，根据每个重复组的全局频率和文本长度自适应分配副本预算。该策略对低频重复采取保守处理，对高频重复施加更强的删除，并进一步降低长重复片段的保留预算——长重复片段更可能反映模板复用或直接复制。随后应用保持连贯性的删除，以减少文档碎片化。在 FineWeb-Edu 和包含代码的网页语料上的实验表明，我们的方法在 FineWeb-Edu 上取得了最佳整体性能，并在包含代码的网页语料的所有评测基准上持续获得提升。

我们的贡献如下：

- • 我们提出了一个可扩展的子文档去重框架，将重复检测与副本保留解耦。自然边界分割、规范化精确哈希和分布式聚合使得全局重复计数成为可能，而不会使重复的可见性依赖于分片放置。
- • 我们引入了一个显式的频率与长度感知副本保留函数，为每个重复组自适应分配保留预算，对高频或长重复施加更强的压缩，同时对低频重复采取更保守的处理。
- • 我们在 FineWeb-Edu 和包含代码的网页语料上评估了该框架。使用所得数据训练的模型在 FineWeb-Edu 评测套件上取得了最佳整体性能，并在包含代码的网页设置中的所有评测基准上持续获得提升。

## 2 相关工作

### 2.1 子文档重复检测

现有的子文档重复检测方法主要区别在于检测单位和匹配标准。基于后缀数组的方法能够识别可变长度的精确重复子串，而无需预定义分割边界 (Manber and Myers, 1993 (https://arxiv.org/html/2608.03089#bib.bib3))。Lee 等人 (Lee et al., 2022 (https://arxiv.org/html/2608.03089#bib.bib4)) 开发了一种基于后缀数组的可扩展精确子串去重方法，用于检测并移除超过预定义长度阈值的重复片段。RefinedWeb (Penedo et al., 2023 (https://arxiv.org/html/2608.03089#bib.bib10)) 在其网页规模处理流程中应用了精确子串去重，而 GneissWeb (Gohari et al., 2026 (https://arxiv.org/html/2608.03089#bib.bib63)) 通过分片式精确子串去重扩展了这一方向。

基于分割的方法则将文档划分为预定义的自然单位，并比较它们的精确或规范化表示。例如，CCNet (Wenzek et al., 2019 (https://arxiv.org/html/2608.03089#bib.bib5)) 执行段落级精确去重。DCLM (Li and others, 2024 (https://arxiv.org/html/2608.03089#bib.bib8)) 使用基于布隆过滤器的 n-gram 匹配进行文档级和段落级去重。后缀数组方法提供了灵活的可变长度片段匹配，而基于预定义单位和 n-gram 的方法更容易分布式实现，但依赖于所选单位或重叠标准。

### 2.2 副本保留策略

一旦检测到重复内容，现有流程通常应用固定的删除或保留规则。在网页规模的精确子串流程中，匹配可能在各分片内独立执行，因此只有被分配到同一分片的出现才能被比较和移除 (Gohari et al., 2026 (https://arxiv.org/html/2608.03089#bib.bib63))。因此，保留的副本数量隐式地取决于语料的分区方式。基于分割的流程更常使用显式但固定的策略，例如每个重复组保留一个出现，或过滤频率超过预定义阈值的单位 (Wenzek et al., 2019 (https://arxiv.org/html/2608.03089#bib.bib5); Grattafiori and others, 2024 (https://arxiv.org/html/2608.03089#bib.bib7))。FineWeb (Penedo et al., 2024 (https://arxiv.org/html/2608.03089#bib.bib11)) 评估了多种全局行级保留一个变体，并报告它们不如其基于快照的 MinHash 去重基线。其他工作则在不直接删除所有检测到副本的情况下控制重复内容的贡献。SoftDedup (He et al., 2024 (https://arxiv.org/html/2608.03089#bib.bib12)) 根据文档的估计共性对其降权，而 FineWeb2 (Penedo et al., 2025 (https://arxiv.org/html/2608.03089#bib.bib13)) 使用重复聚类信息构建感知去重的重采样策略。

## 3 预备知识

在本节中，我们首先分析重复片段的频率、长度和内容特征，以明确副本保留策略应满足的基本要求。然后，我们考察分片式后缀数组去重所导致的隐式副本保留行为。

### 3.1 重复片段的特征

#### 频率与内容。

在进行全局文档级 MinHash 去重后，我们将所得语料分割为行级和句子级片段。然后对片段进行规范化，并计算每个规范化片段在整个语料中的全局出现频率。对于规范化片段 zz，令 C\(z\)C\(z\) 表示其全局频率。图1 (https://arxiv.org/html/2608.03089#S3.F1) 左图报告了每个频率桶中片段所贡献的分析文本长度占比。频率从 1 到 20 分别显示，最后一个桶聚合了所有 C\(z\)\>20C\(z\)\>20 的片段。两种分割粒度下的分布都呈现出显著的长尾特征。C\(z\)=1C\(z\)=1 的唯一片段在行级和句子级分别占分析文本长度的 54.2% 和 42.9%。C\(z\)∈\{2,3,4\}C\(z\)\\in\\\{2,3,4\\\} 的低频重复片段又贡献了 21.8% 和 23.9%。在另一端，出现超过 20 次的片段仍然占分析文本长度的 11.1% 和 16.7%。这些结果表明，语料中既包含大量低频重复，也包含不可忽略的高频长尾，因此需要一种能够区分不同频率区间的保留策略。

为了考察频率与内容类型之间的关系，我们按频率对重复片段进行分层，并人工检查每一层中的代表性重复组。高频重复主要由网页模板、导航元素、版权和许可声明、广告、自动生成消息以及其他站点级样板文本组成。相比之下，低频重复的内容更加多样，包括普通自然语言段落、合理引用、不同版本间共享的文本，以及局部转发的内容。因此，高频重复更可能代表模板化和高度冗余的内容，保留额外副本带来的边际信息很少。相比之下，低频重复更可能包含值得保留的信息。

#### 长度与内容。

我们进一步在相同或相似频率范围内对不同长度的重复片段进行分层抽样和内容检查。结果表明，较长的重复片段更常对应完整的网页模板、固定免责声明或大段复制文本；较短的重复片段内容更为异质，包括标题、列表项、短注释等。