sub-billion

MobileMoE 引入了高效的端侧混合专家语言模型，参数规模低于十亿，在性能和效率上均优于密集基线模型和现有的 MoE 模型。这些模型在开源数据集上训练，并在商用智能手机上展现出显著的加速效果。