标签
本文提出了一项关于训练Mixture-of-Experts路由器以实现缓存局部性对抗内存带宽墙的预注册负面结果，表明尽管采用了训练机制，未命中率降低与语言建模质量之间存在权衡。
介绍了ContinuityBench，一个针对多提供商大语言模型路由中有状态故障转移的基准测试与系统研究，提出了新指标（CPR、CLO）和一种历史转发代理架构，实现了99.20%的上下文保留率。