llm-gateway

LangChain 发布了一份概念指南，阐述了构建可控AI代理的框架，涵盖了认证、审计日志、速率限制、回退和集中化支出控制等系统级治理要素，并介绍了LLM网关作为运行时控制平面的作用。

OrcaRouter 是一个新的 AI 网关，它智能地将提示路由到最佳模型，提供成本节省、护栏和完全可观测性，零代币加价并有免费层级。

LLM Gateway Chat 是一个平台，提供对多种AI模型的访问，用于聊天、图像、视频和音频生成。

一份针对 B2B SaaS 产品的 LLM 网关（OpenRouter、Concentrate.ai、Portkey 和 LiteLLM）的详细比较，涵盖特性、成本和治理。

LangChain宣布，LangSmith LLM Gateway可以在请求到达LLM提供商或日志之前，对类似SSN的敏感数据进行脱敏，从而增强隐私和安全性。

Harbor v0.4.19 新增了通过本地推理后端启动本地智能编码工具的功能，集成了 vllm、sglang 和 llama.cpp，并内置了用于工具注入（如网络搜索）的 LLM 网关。

LangChain 宣布推出 LangSmith LLM Gateway，这是一个面向 AI 智能体的运行时治理层，可强制执行成本限制、检测 PII，并直接在 LangSmith 内实施策略监控，现处于内测阶段。

一位创始人寻求对其服务进行验证，该服务利用开源工具配置生产级 LLM 网关，以解决企业常见问题，如成本可见性、供应商锁定和个人身份信息（PII）泄露。