标签
HyDRA是一种面向异构LLM池的混合动态路由架构，能够预测每个查询的细粒度能力需求，并通过不足匹配选择最便宜且能力满足需求的模型，在保持质量的同时实现高达72.5%的成本节省。该架构已部署于GitHub Copilot的VS Code Chat自动模式，并将路由与模型目录解耦，模型变更时无需重新训练。
一个路由层，根据优先级标志（速度、成本、质量、平衡）使用加权评分自动选择最佳LLM，决策时间低于1毫秒，内置回退、缓存和指标。
本文介绍了一种用于多智能体大语言模型系统的批评与路由控制器，将协调过程建模为序贯决策问题。该方法利用策略梯度优化控制器以实现迭代优化，在表现优于基线方法的同时，降低了对顶级模型的依赖。
一篇教程博客文章，介绍 LLM 路由——即根据成本、延迟和质量，将用户查询定向到最合适的 LLM 的实践方法。涵盖路由策略、LLM 路由器的结构解析，以及与混合专家模型（Mixture of Experts）的对比。
OrcaRouter 是一个基于学习的LLM路由器，能够根据质量、成本、速度和可靠性动态地将提示路由到合适的模型，并随着生产流量的增加而持续改进。
本文介绍了RouteProfile，这是一个用于路由系统中LLM配置文件的设计空间，证明了结构化配置文件和查询级信号能够提高路由性能以及对新模型的泛化能力。
TRACER是一个开源系统，它在LLM分类端点的生产追踪数据上训练轻量级机器学习代理，并通过一个一致性门控路由请求，仅当代理与原始模型的一致性超过指定阈值时才激活代理。该方法在意图分类基准上实现了83-100%的代理覆盖率，同时保持了对处理边界和故障模式的可解释性。
Arch-Router是一个紧凑型1.5B参数模型，通过将查询映射到用户定义的领域和动作类型，将LLM路由与人类偏好对齐，在主观评估中优于专有模型。