标签
MIRA是一个用于大语言模型开发中间训练阶段的数据选择框架，它自适应地按数据源构建质量评分标准，使用教师模型提出维度并蒸馏为轻量级评分器。与全语料训练相比，仅使用一半的token即可实现更优性能。