介绍 LangSmith LLM Gateway：为你的智能体打造的运行时治理层。

💸 强制执行成本限制 🔒 检测个人身份信息（PII） ✅ 对违规行为进行处理 …一切尽在 LangSmith 中完成。

现已开启内测 https://t.co/ki8W5vro0g

LangSmith LLM Gateway：内置于智能体生命周期中的运行时治理

来源：https://www.langchain.com/blog/introducing-llm-gateway 今天，我们正式以私有测试（Private Beta）形式推出 LangSmith LLM Gateway。这是一个运行时治理层，存在于你已经在 LangSmith 中构建、观察和评估智能体的地方。

LangSmith LLM Gateway 位于你的智能体与其调用的 LLM 提供商之间。它在请求到达模型之前强制执行成本上限并脱敏敏感数据。当策略被触发时，事件会直接流入 LangSmith，无需单独的控制面板、审计日志或工具。从被阻止的请求到触发它的追踪记录，再到修复方案，整个流程都在一个产品内完成。

注册私有测试（https://www.langchain.com/langsmith-llm-gateway-waitlist）

可观测性与强制执行之间的鸿沟

以下是实际情况：一个编程智能体在夜间陷入重试循环，到早上已经发出了 10,000 次 LLM 调用，你会收到一张四位数的账单。

一个客服智能体在处理退款请求时，其中包含一个社会安全号码。这个号码现在留在了 LLM 提供商的日志、追踪数据以及任何可能使用了该响应的下游系统中。

这些并非极端案例，而是在生产环境中运行智能体的日常现实。可观测性告诉你发生了什么，但要防患于未然，需要在请求层强制执行策略。在此之前，同时实现这两点意味着要拼凑一个独立的网关、一个护栏平台和一个可观测性堆栈，然后在出现问题时尝试关联三个系统之间的信号。而 Agent Gateway 将这两者都置于 LangSmith 内部。

本次测试版提供的功能

LLM Gateway 随附了企业用户首先需要的控制功能：

**成本限制：**在组织、工作空间、用户或 API 密钥级别设置硬性上限。当达到上限时，智能体会收到一个带有明确错误的 402 响应。

**成本可见性：**按工作空间、用户和 API 密钥实时汇总成本。不再有月底的意外账单。

**PII 与机密检测：**敏感数据在到达模型或被写入追踪记录之前，会从请求和响应中脱敏。智能体会继续运行，而敏感数据不会传播。

**追踪连续性：**每个通过网关代理的调用都会出现在与智能体其他追踪记录相同的 LangSmith 工作空间中。通过网关路由不会割裂你的可观测性。

**LangSmith Engine 集成：**策略事件会出现在 LangSmith Engine 中供分类处理。从违规事件点击即可跳转到产生该违规的追踪记录，无需离开产品。

**审计日志记录：**网关中的每项管理操作都会被记录。合规和安全团队无需额外搭建审计管道即可获得完整记录。

**分层执行：**在组织、工作空间、用户或 API 密钥级别执行，以便将策略聚焦在最需要的地方。

安装过程有意保持简单

将你的智能体指向 LangSmith Gateway 端点，使用你的 LangSmith API 密钥。将提供商的 API 密钥添加到工作空间密钥中。在 LangSmith UI 中设置策略。这就是全部设置过程。

只需更换 base_url，无需修改代码。

治理与构建、观察、评估在同一界面

大多数治理工具都在它们各自的界面中进行配置和使用，例如单独的策略控制台、单独的警报面板、单独的调查流程。如果治理是团队的主要关注点，这种形式是可以接受的。但如果团队已经在其他地方构建、观察和评估智能体，那么这会带来更大的负担。

LLM Gateway 在 LangSmith 中配置。被阻止的请求在 LangSmith 中是一个可追踪的事件。匹配到的已脱敏 PII 是一个信号，你可以通过它点击跳转至产生该信号的精确追踪记录。从那里，你可以看到智能体当时在做什么，更新系统提示或工具配置，并针对现有的测试集重新评估，所有这些都无需离开产品。

对于已经在使用 LangSmith 的团队而言，这意味着更少的工具、更少的上下文切换，以及策略事件与解释它们的追踪数据并排呈现。检测、调查和修复都在构建智能体的同一界面上完成。

选择治理应该在哪里存在

智能体治理市场正在快速形成，目前大多数工具属于以下几种类型之一：

• 网络层网关提供强大的基础设施控制，如速率限制、路由和流量治理。如果你的优先事项是将 LLM 调用视为其他 API 流量一样处理，这是一个不错的选择。权衡之处在于，当策略被触发时，你无法获得追踪上下文来调试为什么触发，而且策略调整也不具备 AI 意识。
• 独立护栏平台提供复杂的评估和策略，通常基于小型评估模型构建。如果你愿意端到端地采用它们的生态系统，并随着智能体的变化调整这些模型，这是一个不错的选择。权衡之处在于，你的智能体、追踪和评估现在分散在两个地方，并且你还需要维护一个额外的可观测性界面。
• 数据平台治理层将数据目录或湖仓一体扩展到覆盖 AI 工作负载。如果你的团队已经嵌入该平台，这是一个不错的选择。权衡之处在于，如果你没有，那么采用这种方案将是一场迁移，而不是功能添加。

LLM Gateway 锚定在智能体框架本身，也就是智能体实际构建和运行的地方。这种锚定使得策略事件能够流入与追踪、评估和控制面板相同的工作空间。这也使我们能够根据你真实的智能体生产行为来调整策略，而无需单独的微调循环或监控评估模型来保持其准确性（当你的智能体不断演变时）。

如果你的团队的智能体已经存在于 LangSmith 中，那么这就是一个无需你离开的治理层。

未来发展方向

今天的发布覆盖了 LLM 调用，但智能体的工作远不止于此。LangSmith Agent Gateway 旨在成为你所需的所有运行时策略的中央控制平面，以下是即将推出的功能：

• **更深层次的安全控制：**超越 PII 和机密检测，覆盖智能体调用外部模型和接触生产系统时所面临的全方位风险。
• **灵活的强制执行：**在硬性阻止之前进行柔和的上线，模型回退和替换以在策略触发时保持智能体运行，以及速率限制以在不破坏生产的情况下塑造行为。
• **工具和 MCP 网关：**相同的强制执行原语适用于工具调用、智能体之间的调用以及 MCP 服务器交互，而不仅仅是 LLM 调用。

如今，智能体治理主要是附加在智能体系统之上的。我们认为这不是长期正确的形态。构建、观察和评估智能体的同一个产品，也应该是强制执行它们所遵循规则的产品。LLM Gateway 就是我们的起点。

立即尝试

LLM Gateway 现已开启私有测试。请注册申请访问权限（https://www.langchain.com/langsmith-llm-gateway-waitlist）。