标签
该论文提出了 LatentMoE，将专家计算移至较低维的潜在空间，从而将专家输入维度和中间层宽度作为显式的设计选择。研究表明，与各层配置相同的 MoE 基线相比，采用近方形专家以及由内在维度指导的逐层容量分配，能够降低验证损失并提升下游任务性能。