标签
论文提出了 Spectral-MoE,一种在将稠密模型转换为混合专家模型(MoE)时,为不同层动态分配专家利用率预算的方法,包括静态和动态两种分配器。该方法在 Llama-2-7B、Llama-3-8B 和 Qwen2.5-7B 上显著降低了困惑度并提升了下游任务准确率,确立了逐层专家利用率这一新的优化方向。
ToMoE是一种方法,它通过动态结构剪枝将密集的大型语言模型转换为MoE模型,在不进行权重更新的情况下实现强劲性能,并超越了最先进的剪枝和MoE技术。
一个概念验证的训练脚本实现了将 Gemma 4 31B 密集模型转换为加法型 MoE 架构,灵感来自 JDONE-Research 的一个韩语专用微调模型。