end-side-devices

DECO是一种稀疏MoE架构，仅激活20%的专家并配合3倍加速内核，即可达到与稠密Transformer相当的性能。该架构采用了基于ReLU的路由机制、可学习缩放因子以及NormSiLU激活函数。