pointwise-projections

本文介绍了通道专家混合（MoCE），这是一种结构化稀疏层，用于替代卷积网络中的密集逐点投影，以降低计算成本，同时保持或提高性能。