一个智能体陷入死循环，一夜之间烧掉了客户 4,700 美元的预算

我们是一个小型 B2B 工具，团队很精简，有 3 家客户在我们的基础设施上运行智能体，我们先垫付模型费用，再按月向他们收取使用费。周二一切正常，但周三早上 OpenAI 的控制台出现了一个异常的尖峰。调查后我们发现，某个客户的智能体调用了一个总是返回错误的工具，而智能体认为解决办法就是换一个略有不同的提示词不断重试，从凌晨 1:12 到 6:50 之间重试了 31,000 次，烧掉了 4,700 美元的 token 费用，而该客户每月的套餐只有 400 美元。我们有全局的速率限制和总支出告警，但没有针对单个客户的任何措施，因为用量只有在月底结账时才会汇总进发票，期间根本没人去看。最蠢的是，这根本不是客户的错——在没有任何东西告诉它该停下来时，智能体做的正是智能体会做的事，它彻底失控了。我们只好自己承担了大部分费用，并发出了一封非常尴尬的邮件。现在我们会在每次模型调用之前检查按客户的预算：套餐额度达到 1 倍时发出软警报，达到 2 倍时硬性停止。同时也加上了每个工具调用的最大重试次数——说实话，这个功能本来早该有了。很好奇其他人是怎么按客户限制支出的？