为什么MoE模型如此被轻视？

Reddit r/LocalLLaMA 新闻
mixture-of-experts dense-models model-comparison architecture router model-size

摘要

讨论了一种常见观点，即低活跃参数量的MoE模型不如密集模型，并认为路由器的有效性和架构细节才是关键。

例如：“Qwen 3.5 122B只有10B活跃参数，所以它远不如密集的27B模型。”这是这里的主要论调，让我感到困惑。如果一个122B的模型只相当于10B，那模型提供商为什么不直接发布一个密集的10B模型，还要费心去创建MoE模型呢？更何况，密集的10B模型运行速度比122B的MoE更快（没有路由开销），这直接否定了所谓“MoE的唯一优势是速度”的说法。事情当然没那么简单。我的意思是，虽然每次确实只激活10B参数，但关键在于路由器选择激活哪10B专家的效率。路由器越有效，模型就越能发挥其总参数潜力。所以，或许情况更微妙一些——某些MoE架构比其他MoE架构更好，对吧？我可能遗漏了什么。
查看原文

相似文章

粘性路由：训练MoE模型以实现内存高效推理

arXiv cs.LG

StickyMoE提出了一种可微的路由一致性损失函数，鼓励相邻token在MoE模型中激活相同的专家，从而在边缘设备推理过程中将专家交换开销和缓存未命中率降低高达3.92倍，同时改善困惑度。