@rohanpaul_ai: 大型MoE模型可能浪费了一半的专家计算资源在几乎不需要专家帮助的token上。本文中50%的e…

一个大MoE模型可能浪费了一半的专家计算资源在那些几乎不需要专家帮助的token上。 本文中，移除了50%的专家计算，而精度几乎没有损失。 这使得已经训练好的MoE模型（如Qwen3和GLM）在token太简单而不需要专家时，停止调用一半的专家。 Zero-Expert Self-Distillation Adaptation (ZEDA)，一个低成本框架，将训练后的静态MoE模型转化为高效的动态模型。 表明许多MoE token不需要真正的专家，只需要允许跳过它们。 这听起来像是一个小小的路由技巧，但它改变了部署语言模型的经济性。 标准的MoE模型已经避免了使用每一个参数，但它们仍然在每个token上花费相同的专家预算。 ZEDA为路由器添加了一个奇怪的新选项：输出完全为空的专家。 当模型将一个token路由到这些零专家之一时，它并没有让模型变得更笨；而是承认这个token不需要另一个昂贵的变换。 巧妙之处不在于虚拟专家，而在于适应方法。 不是从头重新训练模型，而是将原始MoE作为冻结的教师模型，而新的动态版本学习何时可以安全地跳过工作。 在Qwen3-30B-A3B和GLM-4.7-Flash上，结果大约是移除了半数的专家计算，平均精度仅有轻微损失，实际推理速度提升约20%。 更深层的发现是：计算使用并不简单地跟踪任务难度。 模型在不确定性或师生分歧上升的地方花费了更多专家预算，而结构化代码和数学片段通常需要更少。 这让ZEDA感觉不像剪枝，而更像是对计算不确定性的关注。 ---- 论文链接 – arxiv. org/abs/2605.18643 论文标题："Post-Trained MoE Can Skip Half Experts via Self-Distillation"