dense-to-moe

标签

Cards List
#dense-to-moe

Spectral-MoE:从稠密模型到 MoE 转换中的逐层异构专家利用

arXiv cs.LG ↗ · 2026-10-15 缓存

论文提出了 Spectral-MoE,一种在将稠密模型转换为混合专家模型(MoE)时,为不同层动态分配专家利用率预算的方法,包括静态和动态两种分配器。该方法在 Llama-2-7B、Llama-3-8B 和 Qwen2.5-7B 上显著降低了困惑度并提升了下游任务准确率,确立了逐层专家利用率这一新的优化方向。

0 人收藏 0 人点赞
#dense-to-moe

你对ToMoE v2论文有何看法?该论文将密集模型转换为MoE模型,准确率几乎无损?我觉得Qwen3.8-27B-A16B或类似的模型会非常出色,尽管存在架构障碍,以及需要训练数据。

Reddit r/LocalLLaMA ↗ · 2026-09-28 缓存

ToMoE是一种方法,它通过动态结构剪枝将密集的大型语言模型转换为MoE模型,在不进行权重更新的情况下实现强劲性能,并超越了最先进的剪枝和MoE技术。

0 人收藏 0 人点赞
#dense-to-moe

将 Gemma 4 31B 密集模型转变为原生 Gemma 4 加法型 MoE 模型

Reddit r/LocalLLaMA ↗ · 2026-05-29

一个概念验证的训练脚本实现了将 Gemma 4 31B 密集模型转换为加法型 MoE 架构,灵感来自 JDONE-Research 的一个韩语专用微调模型。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈