router-tuning

一篇论文介绍了一种针对稀疏MoE模型的推理时优化方法，通过调整后期transformer层中的专家选择，在无需重新训练的情况下，将推理token减少8.5%，延迟降低10.9%，同时保持准确性。