router-training

本文提出了一项关于训练Mixture-of-Experts路由器以实现缓存局部性对抗内存带宽墙的预注册负面结果，表明尽管采用了训练机制，未命中率降低与语言建模质量之间存在权衡。