我构建了一个路由器来削减我的智能体费用。结果发现它只知道如何增加开销。

我构建了一个路由器来削减我的智能体费用。然后我实际查看了它的路由方向。8,458个请求被升级了。零个被降级。首先，提供一些规模上的背景。在59,299个请求中，列表价格总计约为5,085美元。不过，这些是在固定费率的Max订阅上运行的。实际现金支出是几百美元，而不是5千美元。我想先明确一点，这里没有人支付了五千美元。中位请求费用为4美分。没有失控，也没有单个巨额调用。只是数以万计的廉价请求累积起来。升级部分占了列表总价中的约1,505美元，所以账单本可以降低大约30%。不是因为路由器不好。而是因为它只向上路由。真正节省资金的是缓存，而不是路由器。未缓存时列表价格将是16,980美元。缓存后是5,085美元。大约减少了70%。而升级会破坏缓存，在我的数据中大约是7倍，这是模型价格表从未向你展示的成本。最令人痛心的是编码器费用的去向。其中72%，即3,218美元，用于最终被取消的任务。一个“修复破损测试”的任务进行了76次尝试，单独就消耗了940美元。最深的自动修复链在我终止前达到了19层深度。所以，我得出的结论是。当你的默认设置已经很便宜时，路由器是一个质量调节器，而不是节省器。成本每件交付物才是关键数字，每次请求的成本只是虚荣指标。如果你也构建了一个，在信任任何节省数字之前，先检查它的实际路由方向。记录这一切的代理是开源的。