面向成本高效的LLM路由的在线学习（6分钟阅读）
摘要
Ramp Router 使用 EWMA 评估故障率，通过 Thompson 采样评估延迟，从而选择最便宜的、能在截止时间前完成任务的 LLM 模型和服务层级，在不损失性能的情况下实现 30% 的成本节省。
Ramp Router 通过 EWMA 学习提供商故障率，通过 Thompson 采样学习延迟分布，然后选择最有可能在各自截止时间前完成任务的最便宜模型和服务层级。Ramp 报告称，在 Ramp Inspect 中实现了 30% 的成本节省，且没有性能损失。
相似文章
LLMRouter：用于开发、评估和部署LLM路由器的统一基础设施
LLMRouter将LLM路由统一表述为顺序决策过程，并提供了一个用于开发、评估和部署LLM路由器的开源基础设施和基准（xRouteBench）。实验结果表明，学习型路由器相比最强的固定模型基线实现了14.6%的相对提升。
Ramp Router 声称可将AI成本降低高达30%
Ramp 正在开源其内部 LLM 路由器，该路由器能根据每个请求自动选择最佳模型，以优化成本和性能。
@amitiitbhu: 新文章：LLM 路由，阅读链接：https://outcomeschool.com/blog/llm-routing…
一篇教程博客文章，介绍 LLM 路由——即根据成本、延迟和质量，将用户查询定向到最合适的 LLM 的实践方法。涵盖路由策略、LLM 路由器的结构解析，以及与混合专家模型（Mixture of Experts）的对比。
超越准确性与成本：面向动态工作负载的延迟感知LLM查询路由
一篇论文提出了一种延迟感知的LLM查询路由器，通过轻量级延迟估计器联合优化延迟、准确性和成本，在保持可比延迟的同时，准确率-成本效用提升高达40%。
LLM路由器已成为一个独立服务类别
LLM路由器正从一种小众的基础设施技巧演变为主流服务类别，随着前沿模型成本上升，使用户能够自动为每个请求选择最具成本效益的模型。