论文页面 - MIRA: 面向源感知数据选择的中间训练评分锚定方法

Source: https://huggingface.co/papers/2605.30288 🧠 MIRA 是一个数据选择框架，用于大语言模型开发的中间训练阶段——即预训练与后训练之间的阶段，该阶段使用大规模精选数据来增强编码、推理、工具使用等能力。💡 核心挑战在于中间训练语料库极其异构，混合了网页文档、代码、数学、代理轨迹和工具使用日志，因此没有任何单一的质量标准能适用于所有来源。

🔑 MIRA 的关键见解在于将评分框架构建本身作为数据选择的一部分，而不是依赖固定的或全局的质量标准。它通过四个步骤运行：

1️⃣ 源聚类 🗂️: 基于内容嵌入相似性，将 21 个数据来源分组为能力一致的聚类；

2️⃣ 自锚定评分框架发现 🔍: 前沿教师模型 (Kimi-K2.6) 自由地为采样记录提出质量维度，然后这些维度被聚类为分组特定的锚定评分框架；

3️⃣ 锚定评判器蒸馏 🎓: 这些固定的评分框架用于生成结构化的教师标签（约 200 万条评分记录），然后蒸馏为轻量级的分组特定学生评分器（Qwen3.5-35B-A3B），用于全语料库推理；

4️⃣ 源感知过滤 🎯: 可靠性掩码抑制不可靠的评分维度，并且每组保留阈值保持来源多样性。

📊 在 Qwen2.5-Coder-14B 上的面向代码的中间训练实验中，MIRA-Group 仅使用了 250 亿个 token——完整 500 亿 token 语料库的一半 🔥——却在九个基准测试中取得了最佳宏平均分 (64.20)，优于困惑度过滤、DSIR、DataMan 和随机选择，同时与未过滤的全语料库运行结果相当。

🔬 分析表明，MIRA 的评分对序列长度具有鲁棒性 📏，其发现的评分框架具有源自适应性，同时仍包含通用质量标准 ✅，并且其可靠性掩码能有效识别并抑制校准不良的评分维度 🛡️。