标签
Cursor引入了自动模式，该模式带有一个路由器，可为每个请求选择最佳的AI模型，针对智能、平衡或成本进行优化。
Cursor AI 推出了 Cursor Router，这是一个智能模型路由器，可为每个任务选择最佳模型，以降低 60% 的成本提供前沿质量的结果。
Cactus Hybrid是一款经过后训练的Gemma 4模型，可输出置信度分数，支持在设备端进行推理，并在置信度较低时路由至更大模型，以最少的大模型调用实现了与Gemini 3.1 Flash-Lite相当的性能。
Martian 宣布推出 Ship，这是一个 API 端点，承诺通过智能路由将 Opus 和 GPT 等前沿模型的成本降低 50%，同时保证相同的功能和行为。
Ship 宣布推出一款端点，通过动态选择最便宜的执行路径，同时保持参考模型的质量，从而确保 Claude 推理成本降低 50%，并将成本波动从应用中消除。
模型路由是降低推理成本的热门趋势，但最佳路由高度依赖具体任务。Harvey和Factory等团队通过专注于单一工作流而非通用路由器，实现了显著的成本节约。
IBM Research 解释了为什么智能体系统中的模型路由比简单的分类问题更复杂，指出缓存和隐藏因素（如实际工作负载成本和任务难度评估）使路由成为一个系统优化挑战。
一位开发者分享了一种新的方法，通过GitHub星速而非总星数来排名AI代理工具，重点介绍了codex-model-routing、pilotfish和motion-anything等热门项目。该方法将GitHub与MCP注册表进行交叉验证，以过滤掉虚假星标。
一条爆红的推文串揭示了一位软件工程师的生产力架构，该架构在循环中将任务在前沿模型和廉价AI模型之间路由，独自达到了全团队的速度。
Google DeepMind发布了一篇关于有效模型路由策略的论文，讨论了LLM路由器在准确性和成本方面的评估，但如果模型回答完全相同，这种评估可能毫无意义。
本文探讨了AI智能体系统在生产环境中因过度上下文、不恰当的模型选择及重试等隐藏低效而浪费开销的现象，并质疑哪些运行时决策应控制模型调用。
一位肿瘤学研究员对一款尽管有安全检查但不会将用户引导至劣质模型的尖端模型表示满意。
Anthropic的基准测试显示，使用更大的模型（Fable）作为编排器，搭配更便宜的模型（Sonnet）作为执行者，可以达到Fable完整性能的96%，成本仅为46%，现已可在Claude Code中使用。
Frugon 是一款免费、本地、开源的 LLM 成本分析工具，帮助开发者找出哪些 LLM 调用可由更便宜的模型处理，通过分析日志并提供路由建议来降低成本。
一个称为tinyrouter的微小的大约1万参数路由器学习在MMLU中每个问题应该使用哪个开源模型，通过优化分配超越单个模型。
SupraLabs 发布了 Supra-Router-51M，一个仅有 51M 参数的微小模型，用于将提示路由到合适的大型或小型模型，实现低延迟编排。同时还发布了一个配套数据集。
TinyRouter是一个微型的10K参数LLM路由器，它通过进化训练学习将每个问题路由到开源LLM池中最佳的专家模型。在MMLU和数学基准测试上，其性能达到或超过单个模型。
本文认为，常见的专注于减少token的LLM成本建议过于肤浅，而在生产环境中更具影响力的策略是，将不同的工作流步骤路由到不同的模型，而不是使用单一的默认模型。
本文概述了有效AI模型路由的第一性原理，强调保持模型差异化、限制池大小、使用相对实际基准以及评估过去的路由决策以实现更好的性能。
一位用户评论Anthropic模型的路由问题，警告不要被标题误导；另一位用户则批评对“Fable 5”（可能是Claude的一个变体）设置的严格防护栏。