标签
该论文提出了 LatentMoE，将专家计算移至较低维的潜在空间，从而将专家输入维度和中间层宽度作为显式的设计选择。研究表明，与各层配置相同的 MoE 基线相比，采用近方形专家以及由内在维度指导的逐层容量分配，能够降低验证损失并提升下游任务性能。
本文展示了当数据形成群轨道时，标准神经缩放定律的推导会失败，因为内蕴维数未定义，导致模型性能呈现指数缩放而非幂律缩放。
本文提出了用于大语言模型幻觉检测的自动层选择方法，并引入了固有维度首个有效峰值（FEPoID），这是一种无需训练的标准，能够一致地识别出最优中间层，优于现有启发式方法。
本文引入表示差距（Representation Gap），一个具有更好渐近动态的神经网络泛化误差度量。通过几何视角和最优量化理论，作者证明该度量由任务的内在维度主导，并在合成和真实数据集上进行了实证验证。