标签
该论文提出了 LatentMoE,将专家计算移至较低维的潜在空间,从而将专家输入维度和中间层宽度作为显式的设计选择。研究表明,与各层配置相同的 MoE 基线相比,采用近方形专家以及由内在维度指导的逐层容量分配,能够降低验证损失并提升下游任务性能。
The paper presents a two-level algorithm for allocating a conserved capacity budget across locations and service classes, proving it conserves the budget and converges in one iteration, and evaluates it for defending CDNs under volumetric attack.
本文揭示,在预训练过程中,语言模型会频繁且突然地在模式匹配与泛化行为之间切换,这种现象被称为“模式跳跃”(mode-hopping),并提出了一个用于研究该现象的小型评估套件。