routing-dynamics

标签

#routing-dynamics

超越前一层：稀疏MoE路由中的残差预测结构

arXiv cs.LG ↗ · 昨天缓存

本文研究稀疏混合专家模型中早期专家选择在超越最近层后的预测价值，发现跨层路由预测有显著增益。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈