parameterization

本文为混合专家（MoE）架构提出了一套具有理论基础的缩放理论，引入了最大化尺度稳定参数化（MSSP），确保在宽度、深度、专家宽度和专家数量上的稳定训练和超参数迁移，并通过实验验证。