如何防止AI代理导致无限API支出？

如果你的代理从五个不同的供应商调用API，你在哪里设定上限？供应商A、B和C各有仪表板。它们看不到彼此，也无法限制看不到的支出。几乎所有API都按请求固定收费。无论调用花费一毫秒还是十秒都无关紧要。一个200字节的国家查询与用于OCR的12MB扫描发票成本相同。尽管工作量不同，但账单上的费用相同。因此，当代理在运行时选择服务时，它也在运行时选择支出。如果每次调用无论实际做了什么都花费相同，你就无法预测一次运行的成本。只能事后检查。我是ApyHub的联合创始人之一，所以我会解释我们是如何解决这个问题的。我们使用一个称为原子的单位。它们根据执行的工作量扩展。假设你正在将Word文件转换为PDF。一个简短的10页文档比100页的成本低，因为实际工作量不同。相同的API，但你支付的是它实际完成的工作。而且它还会退款。如果我们估计一次调用为50原子，而实际成本返回30，那么20会退回到你的余额。我不知道还有其他人这样做。一切都来自一个池。一个池，一个上限。达到限制，调用停止。你不会从下个月的发票中得知。这之所以有效，与LLMs的代币定价一夜之间被所有人理解的原因相同。按代币收费显然比按提示收费更公平。但还没有人将相同的逻辑应用于API。原子做到了。但先别管我们。这是任何使用代理调用付费API的人都面临的问题。如果你不能在一个地方看到跨供应商的总支出，你就无法限制它。你是如何处理这个的？