llm-router

TinyRouter是一个微型的10K参数LLM路由器，它通过进化训练学习将每个问题路由到开源LLM池中最佳的专家模型。在MMLU和数学基准测试上，其性能达到或超过单个模型。

本文介绍了iii，一个开源平台，用于使用可组合的worker构建生产级智能后端，取代传统的服务集成，为后端工程提供类似React的范式。

LEMoE是一个开源、无状态的专家混合（MoE）路由器，作为API代理将提示路由到专门的LLM，具有级联上下文路由和静默自纠正功能。

FlyRoute是一种自我进化的画像框架，通过动态更新来自实际流量的代理能力描述，改进多智能体系统中基于LLM的任务路由，相比静态画像取得了显著的准确率提升。