LLMRouter 开源 16+ 路由器库及 xRouteBench

在生产 LLM 栈中，选择在哪个查询上运行哪个模型已悄然成为最大的成本杠杆之一，而迄今为止，对于做出这种选择的路由器，还没有一个通用的比较标准。arXiv 上的一篇新论文（[arXiv](https://arxiv.org/abs/2608.06867) 来自 Tao Feng 等人）试图通过两件事来解决这个问题：一个名为 LLMRouter 的开源库，将超过 16 种路由器实现打包在一个接口后，以及一个名为 xRouteBench 的基准测试，涵盖通用 LLM、记忆增强、视觉、时间序列和个性化路由任务。头条数字是学习型路由器以 14.6% 的相对优势击败了最强的固定模型基线。如果你在运行真实的推理量，这种幅度值得追求，更有趣的辅助声明是：当成本预算收紧时，轻量级路由器仍保持竞争力，并且基于用户而非仅查询调整路由器有助于个性化工作负载。框架本身很重要。作者将路由视为一个序列决策过程，包含五个动态部分：上下文编码器、模型编码器、评分函数、决策规则和学习信号，这比之前零散的路由器论文更具架构性。如果这种框架站得住脚，比较路由器 A 和路由器 B 就不再是营销活动，而是工程测量。摘要对买家实际想要的细节很薄。它没有说明 14.6% 是针对哪个固定模型基线测量的，没有分解成本或延迟，也没有说在 xRouteBench 中哪种路由器类型赢得哪种任务。任何即将标准化路由器供应商的人都应该先要求他们提供自己的 xRouteBench 运行结果。更重要的事情是共享库和公共基准现在共同存在。路由器供应商一直在没有排行榜的情况下发布节省声明，而从现在开始这变得更难了。