ultra-sparse-training

标签

#ultra-sparse-training

@serendip410: 新博客：拯救超稀疏MoE中未被发现的静默失败模式专家

X AI KOLs Timeline ↗ · 2026-08-25 缓存

这篇博客文章识别了超稀疏MoE训练中的静默专家死亡失败模式，并引入了LM Loss作为辅助损失（LLAL）来拯救低层专家，改善了验证损失和下游性能。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈