UltraX：通过自适应程序化编辑大规模优化预训练数据

# 大规模预训练数据的自适应程序化编辑精炼

来源：https://arxiv.org/html/2607.08646

Xinlong Zhao¹, Dongsheng Liu²¹¹footnotemark:1, Hengyu Zhao², Zixuan Fu³, Zheng Wang³, Jie Cai², Jie Zhou², Qiang Ma³, Xuanhe Zhou⁴, Xu Han³, Yudong Wang³, Zhiyuan Liu³²²footnotemark:2

¹北京大学  
²ModelBest Inc.  
³清华大学  
⁴上海交通大学  

[email protected]  
{wangyudong,liuzy}@tsinghua.edu.cn

###### 摘要

随着可用训练数据接近其物理极限，从扩展定律中获得的性能提升已开始减弱。因此，进一步提升大型语言模型性能的关键已从单纯的数据扩展转向提高数据利用效率，通过提升数据质量以更好地挖掘现有数据的潜在价值。然而，在大规模语料场景下，现有的精炼方法在质量、效率和可靠性方面面临显著限制：基于规则的方法受限于固定启发式策略，难以应对实例级变化；基于LLM的方法虽提升了质量，却无法满足大规模数据处理对效率和可靠性的要求。为解决这些挑战，我们提出UltraX，一个用于大规模预训练数据的函数调用精炼框架，通过在删除和修改之外引入插入操作，补全了编辑函数空间，实现了细粒度的实例级编辑。具体而言，UltraX构建了一个可靠的程序监督生成管线：首先通过数据集自适应提示优化引导专家LLM生成高质量的端到端精炼文本，然后利用行对齐映射和动态上下文替换将原始-精炼文本对转换为结构化的程序监督。同时，UltraX通过低置信度示例过滤和按操作组合的比例控制采样，提升监督质量并稳定训练分布。在推理和执行阶段，它通过滑动窗口预测、全局操作聚合和系统化后处理对模型输出进行归一化和验证，提升大规模执行的稳定性和可靠性。在多个语料上从头预训练1B模型的实验表明，UltraX在所有语料上取得了最高的平均性能，在多个数据集上的相对提升超过2%。UltraX还在更少训练token的情况下匹配或超越基线方法，展现出更强的数据效率和精炼可靠性。

## 1 引言

扩展定律（Kaplan et al., 2020 (https://arxiv.org/html/2607.08646#bib.bib1)）表明，虽然大型语言模型（LLMs）（Achiam et al., 2023 (https://arxiv.org/html/2607.08646#bib.bib2); Comanici et al., 2025 (https://arxiv.org/html/2607.08646#bib.bib3); Hu et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib64); Team et al., 2025 (https://arxiv.org/html/2607.08646#bib.bib4); Qwen Team, 2026 (https://arxiv.org/html/2607.08646#bib.bib7); GLM-5-Team, 2026 (https://arxiv.org/html/2607.08646#bib.bib8); DeepSeek-AI, 2026 (https://arxiv.org/html/2607.08646#bib.bib6)）的性能随模型参数和训练数据的扩展而持续提升，但随着可用训练数据接近其物理极限，这种增长潜力已开始进入收益递减阶段。因此，进一步提升LLM性能的重点应从单纯的数据扩展转向系统性地提升训练数据质量（Wang et al., 2026 (https://arxiv.org/html/2607.08646#bib.bib69)）。在大规模语料中，现有的数据质量提升方法主要分为基于规则的过滤清洗（Raffel et al., 2020 (https://arxiv.org/html/2607.08646#bib.bib11); Penedo et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib12); Weber et al., 2025 (https://arxiv.org/html/2607.08646#bib.bib14); Rae et al., 2021 (https://arxiv.org/html/2607.08646#bib.bib15)）和基于模型的选择（Wenzek et al., 2020 (https://arxiv.org/html/2607.08646#bib.bib10); Wang et al., 2025 (https://arxiv.org/html/2607.08646#bib.bib13)）与精炼（Gunasekar et al., 2023b (https://arxiv.org/html/2607.08646#bib.bib16); Wettig et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib17)）。基于规则的方法依靠人工设计的启发式规则，计算效率高，因此被广泛应用于语料构建。然而，其固定的覆盖范围和依赖专家调参的特性限制了其处理实例级变化的能力（Zhang et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib18); Zhou et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib20)）。基于模型的方法可以利用学习到的质量信号进行细粒度的数据选择，或通过精炼直接修改低质量文本，但轻量级模型往往只捕捉表层统计特征，难以可靠地评估或修复更深层的语义质量问题。近期的工作进一步利用具有更强理解和生成能力的LLM进行语义过滤或端到端文本精炼（Yu et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib22); Dubey et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib23); Li et al., 2023 (https://arxiv.org/html/2607.08646#bib.bib24); Ben Allal et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib25)）。然而，这些方法通常带来巨大的计算成本和低吞吐量，难以扩展到预训练语料。总体而言，现有方法难以同时满足语义级精炼质量和预训练规模处理效率的需求。这种张力凸显了一个关键挑战：如何在保留模型驱动精炼优势的同时，将数据精炼可靠地扩展到大规模预训练语料。

我们观察到，虽然LLM与轻量级语言模型在通用能力上存在性能差距，但将任务形式化为结构化、特定任务的预测问题时，轻量级模型仍能以低得多的推理成本提供足够的精炼能力。基于这一观察，我们探索使用轻量级模型作为大规模数据处理的高效精炼器。关键在于，我们不采用端到端（E2E）文本生成方法，而是通过预定义的函数调用来实现精炼。这一选择主要基于两点考虑：首先，E2E生成通常需要生成与输入规模成比例的大量文本，导致高推理开销和低吞吐量。其次，在长上下文场景中，文本不可避免地需要分段和重新组装；然而，E2E生成难以精确界定分段点和重组边界，常常引入语义碎片和结构不一致（Liu et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib26); Maini et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib27)）。相比之下，基于函数调用的方法仅输出结构化的操作序列，显著减少了输出token数量。此外，该方法天然兼容分段处理和结果聚合，在处理长文档时能确保更好的连贯性。ProX（Zhou et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib20)）和RefineX（Bi et al., 2025a (https://arxiv.org/html/2607.08646#bib.bib21)）是函数调用数据精炼的代表性方法。两者都通过函数调用利用轻量级模型实现数据精炼。然而，ProX和RefineX存在几个关键局限：其函数空间不完整，无法完全建模插入、删除和修改之间的协同作用；其种子监督要么依赖LLM直接生成的程序，要么受限于仅删除的编辑规则，削弱了可靠性；其执行过程仍受重复字符串匹配、连续操作间的干扰以及跨窗口建模不足等问题困扰。因此，将函数调用精炼扩展到大规模预训练语料需要更完整的函数空间、更可靠的监督构建管线以及更稳健的程序执行机制。

为解决这些挑战，我们提出UltraX，一个面向大规模预训练数据的函数调用精炼框架。为克服函数空间不完整的问题，UltraX在删除和修改之外引入插入操作，补全了编辑函数空间，实现了细粒度的实例级编辑。为提升种子监督质量，UltraX构建了一个可靠的程序监督生成管线：数据集自适应提示优化首先引导专家LLM生成高质量的端到端精炼文本，然后通过行对齐映射和动态上下文替换方法将原始-精炼文本对转换为结构化的程序监督。进一步引入低置信度示例过滤和按操作组合的比例控制采样，以提升监督质量并稳定训练分布。此外，在推理和执行阶段，UltraX通过使用滑动窗口预测、全局操作聚合和系统化后处理来归一化和验证模型输出，进一步提升大规模执行的稳定性和可靠性。为评估UltraX的效果，我们在五个语料上使用20B token训练预算，从零开始预训练1B参数的MiniCPM模型（Team et al., 2025 (https://arxiv.org/html/2607.08646#bib.bib4)）：FineWeb（Penedo et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib12)）、RedPajama-V2（Weber et al., 2025 (https://arxiv.org/html/2607.08646#bib.bib14)）、AICC（Ma et al., 2025 (https://arxiv.org/html/2607.08646#bib.bib28)）、Ultra-FineWeb（Wang et al., 2025 (https://arxiv.org/html/2607.08646#bib.bib13)）以及FineWeb-ProX-Doc（Zhou et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib20)）。实验结果表明，UltraX在所有语料上取得了最高的平均性能，在多个数据集上的相对提升超过2%。此外，UltraX在更少训练token的情况下匹配或超越基线方法，展现出更强的数据效率和可靠性。进一步分析表明，这些收益来自其细粒度的精炼，能够更好地平衡噪声去除与信息保留。

总之，本文的贡献如下：

- •我们提出UltraX，一个面向大规模预训练数据的函数调用精炼框架，通过在删除和修改之外引入插入操作，构建更完整的编辑函数空间，实现细粒度的实例级编辑。
- •我们开发了一个可靠的种子监督构建管线，包含层次化的文本到操作映射，其中数据集自适应提示优化引导专家LLM生成高质量的端到端精炼文本，行对齐映射和动态上下文替换将原始-精炼文本对转换为结构化的程序监督。低置信度过滤和比例控制采样进一步提升了监督质量并稳定了训练分布。
- •我们设计了一个稳健的大规模执行管线，包含系统化的后处理，包括模糊替换过滤、相邻操作合并和重复模式回退，解决了重复匹配和连续操作间的干扰问题。
- •实验结果表明，UltraX在多个语料的大规模预训练实验中持续提升下游性能，同时实现了更强的数据效率和精炼可靠性。

## 2 相关工作

##### 基于规则的过滤与清洗。  
基于规则的过滤方法主要在文档级别执行质量控制，通常依赖专家设计的启发式规则，如URL黑名单、语言识别、乱码字符比率和重复阈值，以剔除低质量文档（Smith et al., 2022 (https://arxiv.org/html/2607.08646#bib.bib32); Zhang et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib18); Dou et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib33); Qiu et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib34)）。由于计算简单且易于实现，这些方法被广泛用于大规模语料的构建。然而，此类规则通常缺乏建模实例级细微差别的表达能力，常常导致过度拒绝整个文档，而这些文档中可能仍包含可抢救的高价值信息。相比之下，基于规则的清洗方法集中在文档内部的内容恢复上。它们同样依赖人工启发式规则进行局部修改，例如规范化异常换行、移除超链接、清除异常的Base64编码或删除缺乏恰当标点的段落（Penedo et al., 2023 (https://arxiv.org/html/2607.08646#bib.bib35); Rae et al., 2021 (https://arxiv.org/html/2607.08646#bib.bib15); Penedo et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib12); Soldaini et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib36)）。虽然这些操作部分减轻了文档级过滤遗漏的局部噪声，但其效果仍受限于固定规则集和人类直觉的内在局限，不足以捕捉日益异质的噪声模式。与这些粗粒度方法不同，UltraX超越了二元文档选择，而是通过一套完整的插入、删除和修改操作，在文档内部实现细粒度精炼，从而释放更多性能增益。

##### 基于模型的过滤与精炼。  
随着数据质量要求的提高，基于规则的方法已不足以满足当前需求。为解决这一问题，基于模型的数据过滤策略近年来逐渐成为提升数据质量的有效方法。传统的质量过滤技术训练分类器来选择高质量样本（Penedo et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib12); Wang et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib37); Li et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib38); Yu et al., 2025 (https://arxiv.org/html/2607.08646#bib.bib39)）。此外，基于困惑度（Perplexity）的数据过滤方法（Muennighoff et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib40); Wenzek et al., 2020 (https://arxiv.org/html/2607.08646#bib.bib10)），以及利用LLM通过提示评估数据多个维度质量的策略（Sachdeva et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib41); Wettig et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib17)）也被引入。然而，这些方法常常受到鲁棒性有限、评估偏差和高计算成本的困扰。关键在于，以过滤为中心的策略本质上专注于是否保留或丢弃文档的二元决策，而不是提升部分有用但带噪声的文本的文档内质量。相比之下，基于LLM的精炼方法更关注对现有文本的直接编辑或重写，以系统性提升其质量（Fan et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib43); Yue et al., 2024 (https://arxiv.org/html/2607.08646#bib.bib44); Gunasekar et al., 2023a (https://arxiv.org/html/2607.08646#bib.bib49); Li et al., 2023 (