标签
LLM路由器正从一种小众的基础设施技巧演变为主流服务类别，随着前沿模型成本上升，使用户能够自动为每个请求选择最具成本效益的模型。
一个团队在89个Terminal-Bench 2.1任务上，将AI代理工作流的不同阶段路由到不同模型，与将所有请求发送给Claude Opus 5进行了基准测试，并发现了令人惊讶的结果。
Tokenless 是一家获得 YC 支持的初创公司，提供 LLM API 调用的即插即用替代方案，自动将请求路由到最具成本效益的模型，而不牺牲质量，有望将推理成本降低一半。
本文介绍了Value-Router，一项针对推荐系统中廉价启发式方法与昂贵LLM调用之间成本感知路由的仿真研究，表明价值加权路由提高了精确度，并通过自适应预算处理季节性需求激增。
作者质疑像Claude Code这样的单体式智能体编码工具的效率，认为一个按阶段路由模型的自定义框架可以在不牺牲质量的情况下降低成本，并向社区询问他们的经验和建议。
OpenAI的GPT-5.6引入了模型路由功能，当良性工作被阻止时，会将用户重定向到能力较低的模型，这引发了透明度问题：用户是否应该知道哪个模型产生了他们的答案。
Echo是一个系统，通过高效地在开放权重模型间分配推理任务，以三分之一的成本达到与Fable模型相当的性能。它提供免费额度，且无需信用卡。
Cursor 推出了 Cursor Router 的早期访问版本，这是一个自动模型路由层，能够为每个请求选择更便宜的模型，从而降低成本 30-60%，且不会降低质量，满足了高容量编码工作负载中成本控制的需求。
Cursor Router智能地为每项任务选择最佳AI模型，以降低60%的成本实现前沿质量的结果，适用于Teams和Enterprise计划。
Cursor引入了自动模式，该模式带有一个路由器，可为每个请求选择最佳的AI模型，针对智能、平衡或成本进行优化。
Cursor AI 推出了 Cursor Router，这是一个智能模型路由器，可为每个任务选择最佳模型，以降低 60% 的成本提供前沿质量的结果。
Cactus Hybrid是一款经过后训练的Gemma 4模型，可输出置信度分数，支持在设备端进行推理，并在置信度较低时路由至更大模型，以最少的大模型调用实现了与Gemini 3.1 Flash-Lite相当的性能。
Martian 宣布推出 Ship，这是一个 API 端点，承诺通过智能路由将 Opus 和 GPT 等前沿模型的成本降低 50%，同时保证相同的功能和行为。
Ship 宣布推出一款端点，通过动态选择最便宜的执行路径，同时保持参考模型的质量，从而确保 Claude 推理成本降低 50%，并将成本波动从应用中消除。
模型路由是降低推理成本的热门趋势，但最佳路由高度依赖具体任务。Harvey和Factory等团队通过专注于单一工作流而非通用路由器，实现了显著的成本节约。
IBM Research 解释了为什么智能体系统中的模型路由比简单的分类问题更复杂，指出缓存和隐藏因素（如实际工作负载成本和任务难度评估）使路由成为一个系统优化挑战。
一位开发者分享了一种新的方法，通过GitHub星速而非总星数来排名AI代理工具，重点介绍了codex-model-routing、pilotfish和motion-anything等热门项目。该方法将GitHub与MCP注册表进行交叉验证，以过滤掉虚假星标。
一条爆红的推文串揭示了一位软件工程师的生产力架构，该架构在循环中将任务在前沿模型和廉价AI模型之间路由，独自达到了全团队的速度。
Google DeepMind发布了一篇关于有效模型路由策略的论文，讨论了LLM路由器在准确性和成本方面的评估，但如果模型回答完全相同，这种评估可能毫无意义。
本文探讨了AI智能体系统在生产环境中因过度上下文、不恰当的模型选择及重试等隐藏低效而浪费开销的现象，并质疑哪些运行时决策应控制模型调用。