learned-routing

本文介绍了保守混合图网络（CHGN），这是一种用于建模动态过程系统的方法，无需重新训练即可外推到未见过的更大图，并改进工业应用中的故障预测。

TriRoute引入了一个单一的轻量级控制器，该控制器联合决定每个token的注意力模式、专家选择和KV缓存位宽，与独立调优的MoD、MoE和KV量化组合相比，实现了更高的效率和鲁棒性。