Edu-QuRating: 基于蒸馏成对判断的多维度教育数据筛选

# Edu-QuRating：基于蒸馏成对评判的多维度教育数据筛选
来源：https://arxiv.org/html/2609.09425
Robin A\. A\. Ince所属机构：Fab AI
Meng Liu所属机构：Fab AI
Mohamed Huti所属机构：Fab AI
Moritz Boos所属机构：Fab AI
Amy Waldock所属机构：Fab AI
Dominic Andrews所属机构：Fab AI
Paul Atherton所属机构：Fab AI

###### 摘要

教育数据过滤器已成为改进语言模型预训练的实用方法，但大多数过滤器将教育价值视为单一的标量属性。对于某些应用而言，这可能过于宽泛，尤其当数据集本身已具备高密度的教育内容时。有用的学习材料需要准确、引人入胜、结构良好，并适合目标受众和应用场景（例如，面向学习者 vs. 面向教师）。在QuRating（Wettig 等人，2024 (https://arxiv.org/html/2609.09425#bib.bib1)）的基础上，我们提出了 Edu-QuRating：一个用于多维度教育数据评分和筛选的流程。Edu-QuRating 定义了教育特定的评分标准，使用 LLM 评判器为采样的文档对打标，并将这些成对偏好蒸馏为可复用的 Edu-QuRater 模型，这些模型能够在一组教育标准上为单个文本块评分。在两个序列分类基础模型和六个教育标准上，最佳的 Edu-QuRater 以 0.917 的平均准确率恢复了被保留测试的 GPT-4.1-mini 成对评判。随后，我们将所得评分器应用于两个场景。首先，我们研究了 Edu-QuRater 用于语料库过滤以改进小型语言模型预训练的潜力。我们对 322.25M 的 FineWeb-Edu-Fortified 文档进行评分，获得了一个过滤后的预训练混合数据。在匹配的单次预训练对比中，使用基于 Edu-QuRating 的混合数据训练的模型在九个基准测试中达到了比 FineWeb-Edu 基线更高的观测总体准确率，且增益集中在特定任务上。其次，我们将 Edu-QuRater 评分作为 GRPO 后训练的奖励项。在被保留的成对评判评估中，结合 Edu-QuRater 和答案结构奖励所产生的回答，在教学质量和指令遵循方面均优于 Qwen3-4B 基础模型。

## 1 引言

数据筛选现已成为语言模型训练的核心组成部分之一。广泛的网络过滤、去重和混合数据设计对模型性能的影响，可能与架构选择相当，甚至更大，尤其对于较小的模型。教育过滤尤其有益：FineWeb-Edu 表明，选择面向教育的网络文本进行训练，相对于使用未过滤的网络数据训练的相同架构，可以提高在知识密集型和推理密集型基准测试上的性能（Penedo 等人，2024 (https://arxiv.org/html/2609.09425#bib.bib2)）。然而，对于教育应用，“这个文档是否具有教育意义？”只是一个起点。

一旦语料库已经过教育内容过滤，剩余文档仍然在影响学习效果的维度上存在差异。一个页面可能引人入胜但不准确，准确但顺序混乱，对中学生有用但小学生无法理解，或者具有广泛教育意义但不支持基础读写能力。将这些情况视为单一的教育分数会使数据选择难以检查，也难以适应具体的教学目标。

Edu-QuRating 以 QuRating（Wettig 等人，2024 (https://arxiv.org/html/2609.09425#bib.bib1)）为方法论起点，并将该方法专门化，以便对现有的广泛教育数据进行更细粒度的教育评判。Edu-QuRating 不仅仅询问一个文档是否具有教育意义，而是询问它提供了何种教育价值。QuRating 表明，LLM 的成对评判可以通过可复用的多维度单文本 QuRater 模型来捕捉，从而无需为每个文档查询 LLM 即可对大型语料库进行评分。我们保留了这一核心思想，包括成对偏好设置和神经 Bradley-Terry 评分目标，但改进了用于训练 QuRater 的基础模型，将评分标准优化为更具体的教学维度，并引入了以更少 LLM 调用次数收集成对偏好的优化措施。

我们定义了关于事实准确性、教学结构、参与度和学习者水平适用性的成对评分标准。然后，我们通过一组针对基础读写能力教育特定组件的 14 个额外标准来扩展这些“核心”教育标准。由此产生的 Edu-QuRater 生成可检查、可组合并应用于下游目标的独立评分维度。

我们评估了从成对监督到下游模型行为的完整路径。首先，我们展示了成对的 LLM 信号可以通过单文本分数来捕捉，这些分数能够准确恢复被保留测试的成对偏好。其次，我们描述了蒸馏所需的训练数据规模和基础模型选择。第三，我们将相同程序应用于一组基础读写能力标准。最后，我们使用学习到的分数进行两个下游应用：过滤小型语言模型预训练混合数据中的网络文本组件，以及为 GRPO 微调教育响应提供奖励项。

## 2 相关工作

##### 网络规模数据筛选

现代预训练方案将数据质量视为核心设计选择。C4 将大型 Common Crawl 过滤和混合数据设计作为迁移学习的核心部分（Raffel 等人，2020 (https://arxiv.org/html/2609.09425#bib.bib7)）；RefinedWeb 和 Dolma 表明，经过记录的过滤和去重可以使开放网络语料库具有竞争力和可重复性（Penedo 等人，2023 (https://arxiv.org/html/2609.09425#bib.bib6)；Soldaini 等人，2024 (https://arxiv.org/html/2609.09425#bib.bib8)）；而 DataComp-LM 将筛选本身变成了一个受控基准（Li 等人，2024 (https://arxiv.org/html/2609.09425#bib.bib5)）。FineWeb 和 FineWeb-Edu 与我们的情况最为接近：FineWeb-Edu 将 FineWeb 过滤成一个 1.3T token 的教育子集，并改进了多个知识密集型和推理密集型评估（Penedo 等人，2024 (https://arxiv.org/html/2609.09425#bib.bib2)）。Edu-QuRating 建立在这条路线的基础上，但改变了筛选的目标。我们不是一般性地询问一个文档是否具有教育意义，而是根据诸如事实准确性、教学结构、参与度和水平适用性等维度对已具教育意义的候选文档进行评分。

##### QuRating 蒸馏 LLM 判定

QuRating（Wettig 等人，2024 (https://arxiv.org/html/2609.09425#bib.bib1)）的核心概念是：采样文档对，让 LLM 评判器给出成对偏好，将这些偏好蒸馏为能为单个文档分配标量分数的 QuRater 模型，然后利用这些分数进行可扩展的数据选择。LLM 作为评判器的系统允许收集与人类偏好高度对齐的偏好数据（Zheng 等人，2023 (https://arxiv.org/html/2609.09425#bib.bib9)）。然而，由于成本和时间过高，它们无法很好地扩展到数亿行规模的数据集。QuRating 方法将评判器的成对偏好从一个合理规模的样本（数十万行级别）蒸馏到一个更小的 QuRater 模型中。该方法扩展了经典的配对比较模型。在 Bradley-Terry 模型中，每个项目都有一个潜在分数，偏好一个项目而非另一个项目的概率是分数差的逻辑函数（Bradley 和 Terry，1952 (https://arxiv.org/html/2609.09425#bib.bib18)）。诸如 RankNet 之类的神经学习排序方法用根据项目特征预测的分数替代了固定的项目分数（Burges 等人，2005 (https://arxiv.org/html/2609.09425#bib.bib19)）。QuRating 将相同的成对逻辑结构应用于 Transformer 编码器：将文本序列映射到一个标量分数，使得偏好一个序列而非另一个序列的概率是分数差的逻辑函数。

QuRater 训练流程包括一个较大的评判器 LLM 提供一组成对偏好标签，这些标签被蒸馏到一个较小的 QuRater 模型中，该模型可以预测新文档的潜在 Bradley-Terry 分数。训练好的 QuRater 可以大规模应用于新文档或生成的响应。Edu-QuRating 保留了这种结构，但将监督目标从文档质量转向了教育维度。

##### 教育标准和基础读写能力

教育效用并非单一属性。一个世纪的阅读研究将熟练阅读建模为解码和语言理解的产物（Gough 和 Tunmer，1986 (https://arxiv.org/html/2609.09425#bib.bib10)），将其分解为相互作用的单词识别和语言理解线索（Scarborough，2001 (https://arxiv.org/html/2609.09425#bib.bib11)），并通过儿童学习阅读的组成部分来识别，即音素意识、语音学、流利性、词汇和理解能力（National Reading Panel，2000 (https://arxiv.org/html/2609.09425#bib.bib12)；Castles 等人，2018 (https://arxiv.org/html/2609.09425#bib.bib25)）。GEEAP 阅读报告综合了来自中低收入国家的 120 多项研究，在此列表中增加了口语和写作，并得出结论：儿童并非偶然学会阅读：每个组成部分都必须被明确且系统地教授（Alvarez Marinelli 等人，2025 (https://arxiv.org/html/2609.09425#bib.bib3)）。

##### 预训练语料库

最近的几个系统表明，模型的性能会受到其预训练语料库的强烈影响。精心筛选的数据可以使小型语言模型具备令人惊讶的能力，包括 TinyStories（Eldan 和 Li，2023 (https://arxiv.org/html/2609.09425#bib.bib13)）、Phi 风格的教科书质量语料库（Gunasekar 等人，2023 (https://arxiv.org/html/2609.09425#bib.bib14)；Li 等人，2023 (https://arxiv.org/html/2609.09425#bib.bib15)）以及 SmolLM2（Ben Allal 等人，2025a (https://arxiv.org/html/2609.09425#bib.bib4)）。Smol Training Playbook 将这条路线扩展为一种实验方法论：选择一个经过验证的基线方案，进行小规模的受控消融实验，然后在扩大规模之前每次只更改一个组件（Ben Allal 等人，2025b (https://arxiv.org/html/2609.09425#bib.bib20)）。我们的下游预训练实验遵循这一逻辑。我们并未提出一种新的完整预训练数据混合方案；相反，我们保持网络架构、训练和实现不变，并询问用 Edu-QuRating 过滤的数据替换混合语料库中的通用网络文本部分，是否能改进一个其他方面匹配的小型模型方案的性能。

##### GRPO 后训练

GRPO 风格的强化学习最初用于 DeepSeekMath 中的数学推理，后来应用于 DeepSeek 推理系统（Shao 等人，2024 (https://arxiv.org/html/2609.09425#bib.bib16)；Guo 等人，2025 (https://arxiv.org/html/2609.09425#bib.bib17)）。在这些场景中，奖励通常来自可验证的答案或特定任务的正确性检查。我们的情况不同：教育响应质量是开放式的，因此我们使用蒸馏的 Edu-QuRater 作为学习到的奖励模型，用于评估诸如教学结构、参与度、事实准确性和基础读写能力支持等属性。

## 3 开发 Edu-Qurater 评分模型

### 3.1 流程概述

参见图1：Edu-QuRating 流程。成对教育评分标准用于获取软 LLM 偏好标签，这些标签通过神经 Bradley-Terry 目标（Bradley 和 Terry，1952 (https://arxiv.org/html/2609.09425#bib.bib18)；Burges 等人，2005 (https://arxiv.org/html/2609.09425#bib.bib19)）蒸馏为单文本 Edu-QuRater 评分层。核心教育 Edu-QuRater 是一个单一的多输出模型，为每个文本生成六个标准特定的分数。相同的流程也用于生成基础读写能力的面向学生和面向教师的评分器。主要比较报告了 Sheared-LLaMA 和 Gemma-3 基础模型。所得评分器部署用于语料库过滤、小型语言模型预训练混合数据以及响应级别的 GRPO 奖励。Edu-QuRating 调整了 QuRating 偏好蒸馏程序（Wettig 等人，2024 (https://arxiv.org/html/2609.09425#bib.bib1)）以适应教育数据筛选。图1 (https://arxiv.org/html/2609.09425#S3.F1) 展示了整体流程。首先，我们从一个富含教育内容的网络语料库中采样文本。然后，一个 LLM 评判器在标准特定的评分标准下比较文本对，并生成软成对偏好标签。训练一个序列分类模型，使得两个文本之间的分数差能够预测评判器的偏好。每个标准族都实现为一个单一的多输出 Edu-QuRater：核心教育模型预测六个标准特定的分数，而基础读写能力模型则预测其各自面向学生或面向教师的维度。训练好的 Edu-QuRater 逐文档对整个语料库进行评分。最后，这些分数用于过滤预训练数据或奖励生成的教育响应。

### 3.2 教育维度

我们定义了三个评分标准族。核心教育评分标准（Core-Ed）包含六个标准：整体教育导向、小学水平适用性、中学水平适用性、事实准确性、课程参与度和教学结构。这些标准适用于通用的教育网络文本，其中文档在主题上可能具有教育意义，但在正确性、顺序安排、可访问性或学习者参与度方面可能存在显著差异。

Core-Ed 评分标准集旨在量化教育质量的重要方面，这些方面可以在不同文本中独立变化。一个段落可能准确但晦涩难懂，或者引人入胜但存在错误。事实准确性很重要，因为吸收错误的学习者留下的不是知识空白，而是误解，而误解可能抵抗后续的纠正（Lewandowsky 等人，2012 (https://arxiv.org/html/2609.09425#bib.bib26)）。教学结构奖励新手能够遵循的写作，材料按小步骤、示例和最少的无关细节进行排序（Sweller，1988 (https://arxiv.org/html/2609.09425#bib.bib27)；Rosenshine，2012 (https://arxiv.org/html/2609.09425#bib.bib28)）。课程参与度奖励那些引发和维持学习者兴趣的注意力钩子、可关联的情境和响应提示（Hidi 和 Renninger，2006 (https://arxiv.org/html/2609.09425#bib.bib30)）。每个维度的判断独立于其他维度，因为即使是引人入胜的补充内容，如果在增加无关认知负荷的情况下也可能损害学习（Rey，2012 (https://arxiv.org/html/2609.09425#bib.bib29)）。相比之下，假定的先验知识和教育水平是元数据，而非质量维度，没有普遍更好的分数。只有当文本的要求满足学习者当前的知识水平时，文本才能有效教学（Kalyuga 等人，2003 (https://arxiv.org/html/2609.09425#bib.bib31)），这也是在中低收入国家进行“适龄教学”干预背后的逻辑（Banerjee 等人，2017 (https://arxiv.org/html/2609.09425#bib.bib32)）。

我们还定义了两个基础读写能力评分标准族。面向学生的评分标准（FL-Student）针对初学读者的材料，包括口语和词汇、音素意识、系统语音学、阅读流畅性、阅读理解、写作表达和参与度。