标签
作者认为，AI编码工具链和模型路由与模型本身同样重要，分享了使用Oh-My-Pi和OpenCode进行的测试，这些测试减少了token使用量和错误，并推荐针对高容量、轻量级任务采用分层模型订阅。
文章认为，最大的AI转变不是更大的模型，而是围绕它们的更好系统，例如上下文、模型路由、缓存、代理工作流和评估，使模型成为引擎，系统成为产品。
Google Cloud API Gateway 现已在公开预览版中提供模型路由，提供一个无服务器入口层，可接受兼容 OpenAI 的请求，并动态路由到 Gemini、Claude 或 OpenAI 模型。
Not Diamond 宣布推出 Not Diamond Code，这是一款面向编码代理的智能模型路由器，可根据每个步骤选择最佳模型和推理工作量，声称可节省 20% 以上的成本，并在编码基准测试中实现帕累托最优性能。
Not Diamond Code 是一款面向长期编码代理的智能模型路由器，为每一步选择最佳模型和推理努力，可将成本降低 20-65%。
Google Cloud API Gateway 宣布模型路由公开预览，让开发者通过使用 OpenAPI 规范的单一端点访问 Gemini、Claude 和 OSS 模型。
文章讨论了大多数AI流量由简单、可重复的任务组成，如分类和提取，然而前沿模型常常被用于所有事情。它质疑将任务路由到较小的专用模型是否会成为降低成本和延迟的标准做法。
本文认为，模型路由并不是真正要解决的问题——token 效率才是。文章倡导一种整体闭环方法，将更便宜的默认模型、偏好感知路由和更好的缓存（例如 Coinbase 将缓存命中率从 5% 提升到 60%）结合起来，以最大化每美元获得的有用智能。
比较了主要提供商的18个LLM的API标价，强调相同工作负载下100倍的成本差异，并推荐使用模型路由以提高成本效率。
LLM路由器正从一种小众的基础设施技巧演变为主流服务类别，随着前沿模型成本上升，使用户能够自动为每个请求选择最具成本效益的模型。
一个团队在89个Terminal-Bench 2.1任务上，将AI代理工作流的不同阶段路由到不同模型，与将所有请求发送给Claude Opus 5进行了基准测试，并发现了令人惊讶的结果。
Tokenless 是一家获得 YC 支持的初创公司，提供 LLM API 调用的即插即用替代方案，自动将请求路由到最具成本效益的模型，而不牺牲质量，有望将推理成本降低一半。
本文介绍了Value-Router，一项针对推荐系统中廉价启发式方法与昂贵LLM调用之间成本感知路由的仿真研究，表明价值加权路由提高了精确度，并通过自适应预算处理季节性需求激增。
作者质疑像Claude Code这样的单体式智能体编码工具的效率，认为一个按阶段路由模型的自定义框架可以在不牺牲质量的情况下降低成本，并向社区询问他们的经验和建议。
OpenAI的GPT-5.6引入了模型路由功能，当良性工作被阻止时，会将用户重定向到能力较低的模型，这引发了透明度问题：用户是否应该知道哪个模型产生了他们的答案。
Echo是一个系统，通过高效地在开放权重模型间分配推理任务，以三分之一的成本达到与Fable模型相当的性能。它提供免费额度，且无需信用卡。
Cursor 推出了 Cursor Router 的早期访问版本，这是一个自动模型路由层，能够为每个请求选择更便宜的模型，从而降低成本 30-60%，且不会降低质量，满足了高容量编码工作负载中成本控制的需求。
Cursor Router智能地为每项任务选择最佳AI模型，以降低60%的成本实现前沿质量的结果，适用于Teams和Enterprise计划。
Cursor引入了自动模式，该模式带有一个路由器，可为每个请求选择最佳的AI模型，针对智能、平衡或成本进行优化。
Cursor AI 推出了 Cursor Router，这是一个智能模型路由器，可为每个任务选择最佳模型，以降低 60% 的成本提供前沿质量的结果。