cost-capping

本文解释了代理循环成本高昂的原因（每一步都会重新发送累积的上下文），并主张在网关而非提示词中设置成本上限，以防止无限制支出。

AI代理导致Token消耗失控，使超支成为一类生产事故。文章列举了诸如一位工程师130万美元的OpenAI账单以及Uber在四个月内烧掉全年AI预算等案例，并向社区询问如何为代理费用设置上限。