我们如何解决生产环境中多步骤 AI 智能体的 LLM 成本失控问题并实现循环保护（架构与真实数据）

充分披露：我是 GuardrailX 的联合创始人。GuardrailX 是一个用于 LLM 治理、循环预防和成本路由的代理/网关。分享这份分析和数据集，是为了讨论生产环境中的智能体基础设施。如果你正在生产环境中构建多步骤 AI 智能体或智能体工作流，你可能已经注意到两个主要的运营风险：1. 循环失控导致的成本：智能体一旦陷入重试循环或执行循环，短短几分钟内就可能消耗价值数百美元的 API token。2. 模型使用大材小用：在智能体的中间步骤（格式化、简单分类、工具调用校验）中使用旗舰模型（如 GPT-4o 或 Claude 3.5 Sonnet），会破坏单位经济效益。架构解决方案：代理中间层 + 自动评估 为了解决我们自身智能体和客户面临的这些问题，我们在智能体框架（LangChain、LlamaIndex 或自定义 Python 代码）与 LLM 提供商之间部署了一个代理网关：自动循环检测：代理实时监控请求特征和用户 ID，一旦智能体进入无限重试循环，就触发速率限制或强制熔断。针对智能体步骤的语义路由：在毫秒级时间内评估提示词。简单步骤的执行被路由至轻量级模型（例如 gemini-3.5-flash 或 gpt-4o-mini），而复杂推理步骤则交由旗舰模型处理。持续质量评估（LLM 作为评判者）：为确保轻量级模型不会降低智能体的准确性，代理会异步抽样请求，并使用评判模型进行评估（等效性阈值为 95%）。如果准确性下降，就会自动将 100% 的流量切回顶级模型。真实生产数据（3,500 多条智能体请求日志）以下是一家企业客户运行智能体时产生的 3,571 条请求日志的实际分析：2,321 次智能体中间步骤查询被路由至轻量级模型（总成本 1.73 美元）1,250 次复杂推理查询需要使用旗舰模型（总成本 70.55 美元）实际支出：72.28 美元，而非 156.78 美元（直接节省 84.50 美元 / 成本降低约 54%）给智能体构建者的关键启示 通过位于请求链路中的代理，将模型选择与应用逻辑解耦，你就能在无需重写代码库的情况下，优化智能体的延迟和单位经济效益。对于正在生产环境中运行智能体的各位：你们目前如何处理循环熔断、回退策略和 token 预算？