routing-robustness

标签

#routing-robustness

分布鲁棒的混合专家模型训练

Hugging Face Daily Papers ↗ · 2026-10-05 缓存

提出DRMoET——一种将各层专家视为内生鲁棒性分组、优化高损失路由结果的即插即用MoE训练目标，在10.3B总参数规模上显著提升下游任务平均表现与路由鲁棒性。

0 人收藏 0 人点赞