如果智能体可以绕过 LLM 网关,它是否实际上充当了控制平面?
摘要
本文探讨了当智能体能够绕过 LLM 网关时的局限性,并建议有效的治理需要结合出站执行和影子检测,以防止未经授权的访问。
许多团队现在在架构中集成了一个 LLM 网关。它路由模型调用、集中管理凭证、添加日志记录、应用速率限制,并可能处理开销跟踪。但存在一个相当基本的架构问题:当智能体根本不使用网关时会发生什么?例如:
┌──→ LLM 网关 ──→ 模型 智能体 ──────────┤
├──→ 直接提供商 API
├──→ 直接 MCP/工具端点
└──→ 其他外部出口
此时,网关仍在执行其功能,只是不再治理智能体。这一区别很重要,因为流量控制和路径控制是不同的问题。我认为,网关应被视为智能体治理的一个组成部分,而非治理边界本身。像 LiteLLM、Portkey 和 OpenRouter 这样的工具在网关/代理层很有用。但代理无法执行从未到达代理的流量。更有趣的架构是:
智能体 ↓
智能体网关 ↓
LLM 网关 / 治理工具 ↓
模型 + API + 网络/出站执行 + 身份 + 影子发现
在 Lyzr Open Controller 中,我发现了一个有趣的领域:网关与出站执行和影子发现相结合,专门用于检测和关闭绕过路径,而不是假设通过网关路由流量就意味着智能体被治理。我认为,随着智能体实例在 Kubernetes、云智能体运行时、MCP 服务器和内部托管服务中变得更加分散,这将成为一个更大的问题。想知道人们在实际生产环境中是如何解决这个问题的:如果智能体拥有凭证和网络访问权限,可以直接调用模型或工具,那么什么实际上阻止了绕过?有兴趣听到实际有效的方法,而不是架构图上理论上应该有效的方法。
相似文章
如何防止LLM代理相互干扰及干扰您的系统?
探讨防止LLM代理相互干扰及干扰系统操作的技巧,重点关注多代理部署中的协调和安全措施。
ComplianceGate:面向受监管行业推理的分类器门控多层LLM路由
本文介绍ComplianceGate,一个用于LLM推理的分类器门控多层路由系统,通过将请求引导至合适的模型层级,在受监管行业中强制执行合规性。
LLM护栏的思维模型,终于让我明白了。
这篇文章概述了一种思维模型,将LLM护栏作为独立层次实施入站和出站检查,强调需要超越系统提示的强制执行,以及与延迟的权衡。
LLM 不应直接连接生产环境。我们在中间设置四道边界
本文概述了四道关键边界(身份、意图、策略/执行、记录系统),以确保 LLM 永远不会直接访问生产系统,防止不可逆操作。文章强调需要多层权限检查,并对风险操作进行人工审批。
@GoogleCloudTech: LLM的工作是推理,而非安全。仅仅依赖内置的模型护栏会让你暴露在高级攻击之下…
Google Cloud Tech关于使用纵深防御策略保护多智能体LLM系统的技术分享,涵盖敏感数据保护和Model Armor,以防止提示注入和数据泄露。