fisher-importance

标签

#fisher-importance

少即是MoE：裁剪领域专用语言模型中的专家

arXiv cs.LG ↗ · 2026-06-05 缓存

本文介绍了Fisher-MoE，一种通过使用Fisher重要性裁剪FFN层中间维度来压缩混合专家模型的方法，实现了45%的权重内存减少和21%的吞吐量提升，且未造成显著的能力损失。

0 人收藏 0 人点赞