@heyshrutimishra: 大多数LLM路由器都是静态规则；OrcaRouter 是一个会学习的路由器。它嵌入每个提示，根据过去的…
摘要
OrcaRouter 是一个基于学习的LLM路由器，能够根据质量、成本、速度和可靠性动态地将提示路由到合适的模型，并随着生产流量的增加而持续改进。
大多数LLM路由器都是静态规则；OrcaRouter 是一个会学习的路由器。它嵌入每个提示，根据过去的线上结果进行评分，并根据质量、成本、速度和可靠性进行路由，同时根据你的流量不断重新调优。简单查询交给小模型，困难查询交给大模型，但真正重要的是，路由层本身变成了一个学习模型。
相似文章
@amitiitbhu: 新文章：LLM 路由，阅读链接：https://outcomeschool.com/blog/llm-routing…
一篇教程博客文章，介绍 LLM 路由——即根据成本、延迟和质量，将用户查询定向到最合适的 LLM 的实践方法。涵盖路由策略、LLM 路由器的结构解析，以及与混合专家模型（Mixture of Experts）的对比。
我构建了LEMoE：一个用于本地LLM的无状态、轻量级专家混合（MoE）路由器。开源，欢迎反馈！
LEMoE是一个开源、无状态的专家混合（MoE）路由器，作为API代理将提示路由到专门的LLM，具有级联上下文路由和静默自纠正功能。
路由高原：理解并突破LLM路由器的精度极限
本文识别了一种'路由高原'现象，即多种LLM路由方法收敛到相似的精度，远低于理想路由器，原因是存在一个可预测性瓶颈，限制了针对特定查询的路由。随后，本文展示了更大的数据集、更强的编码器和微调有助于突破这一高原。
跨四个LLM层级的代理工作路由：编排器、顾问、深度推理、Premier
作者分享了一个实用的四层LLM路由栈，用于代理工作。其中，快速的编排器处理大部分请求，仅在需要深度推理时才会升级到昂贵的模型，显著降低了成本并提升了交互体验。
并非放之四海而皆准：多语言大语言模型中从固定提示到可学习路由的演进
# 并非放之四海而皆准：多语言大语言模型中从固定提示到可学习路由的演进 来源：[https://arxiv.org/html/2604.16937](https://arxiv.org/html/2604.16937) Wei-Chi Wu, Sheng-Lun Wei, Hen-Hsen Huang, Hsin-Hsi Chen α 台湾大学电脑科学与资讯工程学系，台湾 β 中央研究院资讯科学研究所，台湾 γ 台湾大学人工智能研究中心（AINTU），台湾 wcwu@c