标签
本文研究了在混合预训练中稀缺目标数据与丰富通用数据之间的权衡，发现重复是驱动性能的关键因素，并且混合训练能容忍目标数据重复15-20次。我们引入了一个考虑重复影响的缩放定律，以优化数据约束条件下的混合配置。