swiglu

标签

Cards List
#swiglu

置信自适应SwiGLU用于混合专家模型

Hugging Face Daily Papers · 2026-05-30 缓存

提出了一种置信感知的SwiGLU(κ-SwiGLU),它根据token级路由置信度调整混合专家模型中专家门控的锐度,以最小的计算开销提升了性能。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈