标签
该论文提出一种基于约束上下文老虎机的个性化 LLM 路由框架，通过 primal-dual GLM-UCB 算法在线学习用户偏好，在最小化推理成本的同时以高概率保证响应质量满意度。
Ramp 宣布将内部构建的 AI 工具 Glass 对外开放给其他公司使用。Glass 源于 Ramp 一周内烧掉 150 万美元 AI token 的经历，旨在将企业专属信息转化为全组织可用的工具，并通过 Ramp Router 自动选择合适模型，使账单下降 30%。
Navige 是一款在 AI 智能体运行时降低成本的工具，通过充分性智能将请求智能路由到更小的模型、缓存重复读取并精简工具输出，同时提供预算设置、失控循环检测和敏感操作审批功能。
清华大学等团队发布了 TokenRouter，一个支持小模型与大模型在单次回答中进行 token 级协作的推理服务引擎，通过减少模型切换的等待开销，在双卡 A100 上将 8 路并发的总吞吐从约 135 tokens/s 提升到 372 tokens/s（2.76 倍）。代码与论文均已开源公开。
Cisco的研究人员在三个基准测试上评估了语义熵作为升级信号的效果，即将查询从小型LLM路由到大型LLM，结果表明该方法在GSM8K上有效，但简单的难度启发式方法也能得到看似相当的结果。该论文的主要贡献是提供了一份评估陷阱清单——仅基于问题的基线、模糊的成功指标、基准饱和以及隐藏的采样成本——用于评估路由信号。
TokenRouter 是一个面向 token 级 LLM 路由的高效推理服务系统，采用「请求中心编程、模型中心执行」架构与延迟批调度策略，实现较现有系统 2.01–64.15 倍的解码吞吐提升。
Liquid Inference 是一款 LLM 路由器，让多家模型提供商针对每次 prompt 动态竞价，从而为用户提供最低推理成本，兼容 Claude Code、Cursor 等主流 agentic 编码工具，支持数百个开源与闭源模型。
Together AI 推出 Together Link，这是一款将编码代理连接到 Together AI 上开放模型的开发者工具，让开发者在保留现有工作流程的同时降低模型成本。
该论文分析了六种商用动态 LLM 路由器在 14 种场景下的表现，发现没有一种能够胜过在成本相当的情况下在两个精心挑选的模型之间随机选择的路由器。作者将失败归因于难度盲区、长度反转、语义匹配和候选模型名单的次优性——而标准评估目标实际上还在奖励这些模式。
FlexRouter 提出一种显式建模模型互补性的 LLM 路由框架，将路由建模为基于覆盖的子集选择问题，并用 Determinantal Point Processes 对模型能力与冗余进行联合建模，同时通过边缘化失败集合的目标函数直接优化答案覆盖率。在 RouterEval 基准上，该方法在域内与域外任务上以更低冗余实现了更高的覆盖率，且推理成本灵活可控。
论文提出了集体偏见缓解（CBM）框架，通过微调模型行为以及在多样化的 LLM 之间进行知识共享来降低大语言模型的偏见，并采用 Debating 和 Committee 两种路由拓扑，在偏见缓解效果与推理成本之间取得平衡。
FastRouter.ai 在 Product Hunt 上线，作为统一的 AI 网关与控制平面，通过单一 OpenAI 兼容 API 将 LLM 请求路由到 200 多个模型，在成本、延迟、质量和可靠性之间进行优化，并提供故障转移、可观测性和治理能力。
ANUS 是一款开源编码代理，仅使用免费 LLM 运行：它维护一个免费模型排名列表，自动将请求路由到当前可用的最佳模型，当某个模型达到速率限制时自动切换到下一个备选模型。项目采用 MIT 协议，在 GitHub 上获得超过 6000 星。
HybridInfer引入了针对多层大语言模型推理的热感知强化学习路由器，在真实Android设备上实现了比启发式方法更优的质量和成本效率。
论文提出了RouteFM，一个面向LLM路由的基础模型，通过跨异构环境的情景化预训练学习可复用的路由能力，使一个冻结的路由器仅凭行为上下文即可适应新的领域、模态和候选模型池。在MMR-Bench上，RouteFM仅凭每个候选8条观测就以2.23个质量点领先最强基线，支持'一次预训练、随处路由'的范式。
FlexRouter 提出了一种以覆盖率为导向的 LLM 路由框架，利用行列式点过程（Determinantal Point Processes）建模模型之间的互补性，最大化至少有一个被选中模型回答正确的概率，同时避免冗余选择和固定的计算预算。
论文提出了SaveRouter，一个稀疏监督的LLM路由框架，它有选择性地获取查询-模型反馈，并在相关查询之间共享能力信息，在保持具有竞争力的路由质量的同时降低监督成本，并将盈亏平衡部署量减少1.9-9.5倍。
SeLMRoute 提出了一种大语言模型路由框架，将与候选模型无关的语义证据抽取与性能学习解耦。在 LLMRouterBench 上，跨越 15 个数据集和 20 个候选模型，该框架取得了 72.08% 的平均准确率，超越了最强的固定候选模型（69.23%），并同时支持面向性能和成本感知的路由决策。
一项研究发现，一个训练用于在模型之间进行选择的LLM路由器学会了任务识别而非难度评估，导致在保留任务上泛化能力差，但基于廉价模型输出的延迟策略带来了更好的性能。
Jev 是一种工具，作为确定性软件和大型语言模型之间的中间层，针对语义判断任务进行了优化。这类任务中，可能的答案是预先设定的，但输入解释需要模糊逻辑，例如在客服工单路由中。