llm-gateway

文章强调大多数团队使用独立的工具来追踪AI，并介绍了Respan作为一个统一的解决方案，通过单一网关来路由、观察和评估LLM调用。

TanStack AI 发布了一款官方 LLM Gateway 适配器，使开发者能够使用单个 API 密钥访问来自 40 多家提供商的 200 多个 AI 模型，并支持单行代码切换模型。

LangSmith 的 LLM Gateway 现在通过 Gateway Credits 支持 Kimi K3 和其他开放模型，用户只需使用 LangSmith API 密钥即可调用托管模型，无需配置提供方密钥。

LangSmith LLM Gateway现已公开测试版，为生产环境中的智能体模型调用提供集中治理——包括支出上限、速率限制、模型回退以及按客户策略，以防故障和成本超支。

Manifest解释了为何弃用其LLM路由器，认为模型路由会引入不可预测性、破坏行为一致性，且无法仅凭提示词推断其复杂性，因此对大多数用例而言，缓存和审慎的模型选择更为有效。

LangChain 发布了一份概念指南，阐述了构建可控AI代理的框架，涵盖了认证、审计日志、速率限制、回退和集中化支出控制等系统级治理要素，并介绍了LLM网关作为运行时控制平面的作用。

OrcaRouter 是一个新的 AI 网关，它智能地将提示路由到最佳模型，提供成本节省、护栏和完全可观测性，零代币加价并有免费层级。

LLM Gateway Chat 是一个平台，提供对多种AI模型的访问，用于聊天、图像、视频和音频生成。

一份针对 B2B SaaS 产品的 LLM 网关（OpenRouter、Concentrate.ai、Portkey 和 LiteLLM）的详细比较，涵盖特性、成本和治理。

LangChain宣布，LangSmith LLM Gateway可以在请求到达LLM提供商或日志之前，对类似SSN的敏感数据进行脱敏，从而增强隐私和安全性。

Harbor v0.4.19 新增了通过本地推理后端启动本地智能编码工具的功能，集成了 vllm、sglang 和 llama.cpp，并内置了用于工具注入（如网络搜索）的 LLM 网关。

LangChain 宣布推出 LangSmith LLM Gateway，这是一个面向 AI 智能体的运行时治理层，可强制执行成本限制、检测 PII，并直接在 LangSmith 内实施策略监控，现处于内测阶段。

一位创始人寻求对其服务进行验证，该服务利用开源工具配置生产级 LLM 网关，以解决企业常见问题，如成本可见性、供应商锁定和个人身份信息（PII）泄露。