dense-moe

该帖子分享了关于微调最佳实践的系统性实验结果，一次改变一个SFT变量，涵盖密集模型和MoE模型（参数规模达235B），在四个真实客户数据集上使用自定义评估来消除混淆因素。