@serendip410: 新博客：拯救超稀疏MoE中未被发现的静默失败模式专家
摘要
这篇博客文章识别了超稀疏MoE训练中的静默专家死亡失败模式，并引入了LM Loss作为辅助损失（LLAL）来拯救低层专家，改善了验证损失和下游性能。
查看缓存全文
缓存时间: 2026/08/25 20:11
关于拯救专家免于超稀疏MoE中未被发现的静默故障模式的新博客文章：
在追求超稀疏MoE训练（top-8/768）时，我们发现低层专家在训练/验证损失及负载均衡均正常的情况下，可能变得功能无效。这些层的所有专家权重范数都远小于健康层，我们称之为“静默专家死亡“[图1]。
不仅是我们如此。审计公开的MoE模型时，我们发现了类似的早期层坍缩特征，例如MiMo-v2.5-Pro和Qwen3.5-397B-A17B[图2]。基准测试可能隐藏了未使用的容量。
原因何在？这不仅仅是负载均衡故障。我们发现学习信号本身消失了——浅层专家动量（累积梯度）与二阶矩的平方根下降了约三个数量级，而深层网络保持稳定[图1]。当范数坍缩时，模型已基本不再依赖低层通路。
我们提出“LM损失作为辅助损失“方法：在训练初期数千步临时连接早期MoE层与语言模型头，随后移除。在60B/180B模型上，这一简单策略拯救了底层专家——且增益在移除后依然持续。该方法几乎提升了专家学习的所有维度： • 更优的验证损失[图3] • 消除静默专家坍缩[图4] • 更佳的下游指标表现[图4] • 显著改善负载均衡
欢迎访问我们的博客获取详细信息！内含大量实验分析——享受这40分钟的阅读旅程 :)
https://alltoall.notion.site/save-lower-layer-moe-experts-llal…
相似文章
通过自蒸馏，后训练MoE可跳过一半专家
ZEDA是一种低成本框架，通过注入零输出专家并使用自蒸馏，将后训练的静态MoE模型转换为动态模型，在基准测试中实现了超过50%的专家FLOP减少，且精度损失极小。
如何实现 MoE 循环：展平专家层，解耦注意力
一篇预印本论文介绍了 Foil——将 MoE 专家层展平为更少的层、每层更多专家以及更多循环次数，并在每次循环中使用解耦的注意力，在相同参数量和计算量下取得了更低的预训练损失。
ACE：MoE大语言模型参数高效微调的跨专家适配器整合
ACE提出了一种方法，用于整合MoE大语言模型中跨专家的冗余适配器，以实现更高效的参数高效微调，训练速度提升最高可达1.48倍，且不增加峰值内存。
@rohanpaul_ai: 大型MoE模型可能浪费了一半的专家计算资源在几乎不需要专家帮助的token上。本文中50%的e…
一种名为Zero-Expert Self-Distillation Adaptation (ZEDA)的新方法，允许像Qwen3和GLM这样的MoE模型在简单token上跳过一半的专家计算，而精度损失极小，通过添加输出为空的虚拟专家，实现约20%的推理加速。
Transformer 中的专家混合模型 (MoEs)
Hugging Face 的博客文章，介绍 Transformer 中的专家混合模型 (MoEs) 架构，涵盖从密集模型到稀疏模型的转变、权重加载优化、专家并行计算以及基于 MoE 的语言模型训练技术。