resource-efficient-ml

#resource-efficient-ml

通过有限专家库实现通信高效的专家路由

arXiv cs.LG ↗ · 2026-05-08 缓存

本文提出了一种针对稀疏混合专家（MoE）模型中通信高效专家路由的信息论框架，将门控机制视为随机信道，并推导实用的互信息估计器以分析有限专家库上的准确率-速率权衡。

0 人收藏 0 人点赞