标签
@rauchg发布的一条线程分享了来自Vercel AI Gateway的数据，显示6月27日Anthropic、OpenAI和Google的总支出份额达到历史最高点97.09%，而开放模型支出近期降至历史最低点。
OmniRoute is a free, open-source AI gateway that unifies access to 268+ providers and 500+ models through a single local endpoint, featuring smart routing, token compression, and free tier aggregation to reduce costs and complexity for developers.
一条推文列出了在推理工程中应构建的关键项目，以理解生产级LLM系统，包括推理服务器、分页KV缓存、推测解码、量化库和防护措施。
Vercel 以 CC BY 4.0 协议开放 AI Gateway 排行榜数据，提供了用于数据导出的 API 端点以及可分享的图表图像，使用户能够分析生产环境中的 AI 使用情况。
Vercel的AI Gateway生产指数（2026年7月）报告显示，开源权重模型目前占token流量的29%，其中DeepSeek在开源权重实验室中领先。与此同时，平均token价格趋于稳定，因为低成本的开源权重流量抵消了前沿模型成本的上升。
一个开源的Docker Compose配置，集成了多个开源工具（LiteLLM、LLM Guard、OpenBao、Langfuse等），为组织提供受治理、合规、可审计的AI平台，并附带用户友好的界面用于构建受治理的工作流。
模型发布周公告，推出Meta Spark 1.1、Grok 4.5和GLM 5.2，AI Gateway现已支持Muse Spark 1.1，用于智能体任务。
作者描述了一个常见的企业问题：在将数据发送给LLM之前进行PII脱敏会破坏输出，而他们正在构建一种解决方案，能够在不暴露原始数据的情况下恢复响应内容。
该推文展示了来自 Vercel AI Gateway 的代币消费动画，说明了 AI 实验室之间使用情况的变化、Anthropic 的主导地位以及开放权重 AI 的增长。
Vercel的AI Gateway现在支持路由规则，允许开发者无需修改代码即可动态重写模型路由（例如，从已弃用的模型如Claude Fable-5切换到Claude Opus-5），确保生产工作负载保持弹性。
一个开源、自托管的AI网关，为237家LLM服务商提供单一端点，支持自动回退、令牌压缩和路由。该项目在4.5个月内获得了9.8K个GitHub星标和280多位贡献者，获得了显著关注。
OmniRoute是一个免费开源AI网关，能够将236个AI提供商的API统一成一个OpenAI兼容接口，支持本地自托管、自动fallback、智能路由和token压缩等功能。
Grok Imagine Video 已成为 Vercel 的 AI Gateway 上最受欢迎的视频生成模型，占开发者生成的所有视频的约 50%。
LiteLLM已从Python迁移到Rust，性能大幅提升：请求开销降低150倍至0.05ms，吞吐量提升15倍，内存占用降低11倍至32MB。
关于因错误循环、未授权密钥使用和缺乏监控导致意外高额AI API成本的讨论；寻求检测和预防方面的建议。
Meta的应用AI部门士气跌至历史最低，并面临数十亿美元的成本危机。员工为了应对与AI消耗挂钩的绩效指标，人为夸大AI token使用量（'tokenmaxxing'），引发内部反抗和严格的token预算。
本推文介绍了Cloudflare提供的多种开发功能，包括对象存储R2、后端API Worker、AI网关AI Gateway、容器、缓存KV、数据库D1和PostgreSQL连接HyperDrive等，强调其价格便宜、功能丰富且免费额度充足。
AI Gateway 的2026年5月数据显示，DeepSeek的代币份额飙升至17%，但支出极少，而 Anthropic 保持了65%的支出，表明路由策略注重成本且整体使用量在增长。
这是一份全面指南，解释了模型路由技术，该技术能够智能地为每个请求选择最合适的AI模型，以优化成本、质量和延迟。文章将模型路由与AI网关进行了对比，并强调了其在代理型AI工作负载中的重要性。