使用 LangSmith LLM Gateway 实现模型回退

别让模型故障把你的智能体也拖下水。

在模型和主机之间定义回退规则，并将其应用于每个智能体。当某个提供商宕机或触发速率限制时，调用将被路由到另一个模型。

https://langchain.com/blog/langsmith-llm-gateway-runtime-controls-for-production-agents…

LangSmith LLM Gateway：生产环境智能体的运行时控制

来源：https://www.langchain.com/blog/langsmith-llm-gateway-runtime-controls-for-production-agents

LangSmith LLM Gateway 现已进入公开测试阶段。

生产环境中的智能体需要对模型调用进行运行时控制，以避免成本超支、宕机等不利后果。支出上限、速率限制、模型回退和敏感数据保护都是重要的控制手段，但如果没有合适的工具，工程师必须针对每个模型提供商在每个智能体内部手动编写这些控制逻辑。

这就是我们构建 LangSmith LLM Gateway 的原因。它是位于智能体和其所调用模型之间的中央治理层，专为智能体工程团队在生产环境中所需的控制而设计。LLM Gateway 为团队提供了一个统一位置，可在智能体、模型和提供商之间强制执行运行时控制，帮助他们一致地治理模型使用，同时避免供应商锁定。

立即体验公开测试版（https://smith.langchain.com/）

为什么智能体需要集中式治理层

在生产环境中，模型层可能迅速成为代价高昂的错误和影响客户的宕机的源头。实际场景可能是：你的模型提供商遭遇宕机，你的客服智能体随即开始返回错误，导致客户不满和收入损失。或者你的编码智能体整夜陷入重试循环，到早上已经发出了 10,000 次 LLM 调用，而你收到了一张四位数的账单。

在这些情况下，事后理解发生了什么并不够。你需要在违规发生之前强制执行策略。但如果控制逻辑嵌入到每个智能体的代码中，每个新的智能体和模型提供商都会增加一条需要维护的实现路径。模型网关让团队可以一次性定义策略，然后在模型和智能体之间一致地强制执行。

LLM Gateway 控制

LLM Gateway 提供了智能体进入生产环境时团队最需要的控制能力：成本控制、速率限制、模型回退和敏感数据处理。

避免成本超支： LLM Gateway 让你可以在问题出现之前监控和控制内部及外部用户的 LLM 支出。你可以设置限时上限，并在四个层级跟踪支出：

• 组织层级— 用于公司范围内的控制
• 工作区层级— 使团队保持在支出限制内
• API 密钥层级— 用于控制特定项目的支出
• 用户层级— 用于个人支出控制

当达到上限时，