frequency-diversity

标签

Cards List
#frequency-diversity

MoE路由是哈夫曼编码吗?发现思维链中的频率-多样性定律

arXiv cs.CL · 昨天 缓存

揭示了LLM中的MoE路由遵循类似于哈夫曼编码的频率-多样性定律,并提出了子集差异剪枝(Subset Difference Pruning)来消除功能冗余,实现最优压缩。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈