面向成本高效的LLM路由的在线学习（6分钟阅读）
摘要
Ramp Router 使用 EWMA 评估故障率，通过 Thompson 采样评估延迟，从而选择最便宜的、能在截止时间前完成任务的 LLM 模型和服务层级，在不损失性能的情况下实现 30% 的成本节省。
Ramp Router 通过 EWMA 学习提供商故障率，通过 Thompson 采样学习延迟分布，然后选择最有可能在各自截止时间前完成任务的最便宜模型和服务层级。Ramp 报告称，在 Ramp Inspect 中实现了 30% 的成本节省，且没有性能损失。
相似文章
Ramp Router 声称可将AI成本降低高达30%
Ramp 正在开源其内部 LLM 路由器，该路由器能根据每个请求自动选择最佳模型，以优化成本和性能。
@amitiitbhu: 新文章：LLM 路由，阅读链接：https://outcomeschool.com/blog/llm-routing…
一篇教程博客文章，介绍 LLM 路由——即根据成本、延迟和质量，将用户查询定向到最合适的 LLM 的实践方法。涵盖路由策略、LLM 路由器的结构解析，以及与混合专家模型（Mixture of Experts）的对比。
超越准确性与成本：面向动态工作负载的延迟感知LLM查询路由
一篇论文提出了一种延迟感知的LLM查询路由器，通过轻量级延迟估计器联合优化延迟、准确性和成本，在保持可比延迟的同时，准确率-成本效用提升高达40%。
LLM服务中多目标路由的在线线性规划
本文提出了一种用于LLM服务路由的多目标优化框架，采用带出价-价格控制的在线线性规划来平衡延迟、吞吐量和尾部性能，并通过Vidur模拟器展示了相对于启发式方法的改进。
路由高原：理解并突破LLM路由器的精度极限
本文识别了一种'路由高原'现象，即多种LLM路由方法收敛到相似的精度，远低于理想路由器，原因是存在一个可预测性瓶颈，限制了针对特定查询的路由。随后，本文展示了更大的数据集、更强的编码器和微调有助于突破这一高原。