@rauchg: 我们一直将AI Gateway解释为一种~~内容~~令牌分发网络。就像AI模型的CDN。一个绝妙的功能…

X AI KOLs Following 产品
ai-gateway vercel model-routing rewrite-rules cdn token-delivery-network production

摘要

Vercel的AI Gateway现在支持路由规则，允许开发者无需修改代码即可动态重写模型路由（例如，从已弃用的模型如Claude Fable-5切换到Claude Opus-5），确保生产工作负载保持弹性。

我们一直将AI Gateway解释为一种~~内容~~令牌分发网络。就像AI模型的CDN。 CDN的一个绝妙功能是能够在不重新部署的情况下动态地重新路由或拒绝流量。 当Fable突然被弃用时，我们担心依赖它的生产工作负载。即便不考虑Fable，由于GPU资源竞争激烈，模型也经常被弃用。然而，我们的数据显示，仍有旧版本模型在生产中愉快地运行着！ 现在我们通过AI Gateway Rules解决了这个问题。例如：你现在可以即时重写模型“路由”！ 𝚟𝚎𝚛𝚌𝚎𝚕 𝚊𝚒-𝚐𝚊𝚝𝚎𝚠𝚊𝚢 𝚛𝚞𝚕𝚎𝚜 𝚊𝚍𝚍 \ --𝚝𝚢𝚙𝚎 𝚛𝚎𝚠𝚛𝚒𝚝𝚎 \ --𝚜𝚘𝚞𝚛𝚌𝚎 𝚊𝚗𝚝𝚑𝚛𝚘𝚙𝚒𝚌/𝚌𝚕𝚊𝚞𝚍𝚎-𝚏𝚊𝚋𝚕𝚎-𝟻 \ --𝚍𝚎𝚜𝚝𝚒𝚗𝚊𝚝𝚒𝚘𝚗 𝚊𝚗𝚝𝚑𝚛𝚘𝚙𝚒𝚌/𝚌𝚕𝚊𝚞𝚍𝚎-𝚘𝚙𝚞𝚜-𝟻 这增加了AI Gateway为恢复丢失令牌而带来的能力和技术组合。如果你丢失令牌，就会损失收入和客户。 感谢@rtaneja_ @crowprose @shaper——我们从CLI设计迅速发展到生产级能力！
查看原文
查看缓存全文

缓存时间: 2026/07/04 06:42

我们一直将 AI Gateway 解释为 Content Token Delivery Network（令牌分发网络）。类似于 AI 模型的 CDN。

CDN 的一大优势是能够在不重新部署的情况下动态重新路由或拒绝流量。

当 Fable 突然退役时，我们担心依赖它的生产工作负载。即使抛开 Fable 不谈，由于 GPU 容量竞争激烈，模型也经常退役。然而，我们的数据显示，人们仍然有旧模型版本的生产流量在愉快运行！

我们现在通过 AI Gateway Rules 解决了这个问题。例如：你现在可以动态重写模型“路由”！

vercel ai-gateway rules add
–type rewrite
–source anthropic/claude-fable-5
–destination anthropic/claude-opus-5

这增加了 AI Gateway 所能提供的恢复丢失令牌的能力和技术组合。如果你丢弃令牌，就会损失收入和客户。

感谢 @rtaneja_ @crowprose @shaper —— 我们很快从 CLI 设计走向了生产级能力！

Vercel Developers (@vercel_dev)： AI Gateway 现在支持路由规则。通过在 CLI 中设置规则即可迁移到新模型，无需更改应用或代理中的代码。

相似文章

AI Gateway 生产趋势（阅读时间8分钟）

TLDR AI

Vercel 的 AI Gateway 数据显示，Anthropic 在支出方面领先，Google 在 Token 量方面领先，而代理型工作负载占 Token 总量的 59%。OpenAI 的支出份额在最近的模型更新后增长了近两倍。

@tomas_hk: 是的，我们在此分享了我们的经验：

X AI KOLs Following

这是一份全面指南，解释了模型路由技术，该技术能够智能地为每个请求选择最合适的AI模型，以优化成本、质量和延迟。文章将模型路由与AI网关进行了对比，并强调了其在代理型AI工作负载中的重要性。