routing-robustness

Tag

#routing-robustness

Distributionally Robust Mixture-of-Experts Training

Hugging Face Daily Papers ↗ · 2026-10-05 Cached

提出DRMoET——一种将各层专家视为内生鲁棒性分组、优化高损失路由结果的即插即用MoE训练目标，在10.3B总参数规模上显著提升下游任务平均表现与路由鲁棒性。

0 favorites 0 likes