activation-function

DECO是一种稀疏MoE架构，仅激活20%的专家并配合3倍加速内核，即可达到与稠密Transformer相当的性能。该架构采用了基于ReLU的路由机制、可学习缩放因子以及NormSiLU激活函数。

本文梳理了多种快速双曲正切近似方法——泰勒展开、Padé 逼近、样条曲线及位级技巧，面向神经网络与实时音频场景。