contextual-disentanglement

#contextual-disentanglement

Attention-Aware Routing: Coupling Routing and Attention in MoEs

arXiv cs.AI ↗ · 昨天缓存

本文提出 Attention-Aware Routing（AAR）方法，通过将注意力权重集成到路由器中来增强混合专家模型，显著提升数学推理性能，并揭示了路由与注意力之间存在的耦合动力学。

0 人收藏 0 人点赞