停止优化令牌，开始优化成果

大家好，最近一直在思考AI成本优化的问题。说实话，大多数团队的做法本末倒置，我以前也是。直接转向更便宜的模型和更短的提示词，甚至没问清楚是哪个用户、代理或工作流在实际产生成本，以及我是否能在提供商看到下一个请求之前阻止它。我选择了nexos.ai作为网关层，因为警报总是在钱已经花掉之后才响起。首先，归因很重要——提供商的仪表盘显示按模型或API密钥的支出，但一个用户操作可以触发一连串的模型调用、重试、回退和工具循环。我花了几周时间调整那些便宜的部分，完全没注意到账单的来源。通过给每个请求添加元数据——用户、团队、工作流ID、模型、重试/回退状态、结果——很快解决了这个问题。之前尝试在请求前强制警报，但没用，等警报响起时钱已经没了。真正有效的模式是：计算令牌预留，原子性地从预算中预留，只有成功才转发，之后再对账。加入了防失控循环的断路器，并将开发和生产预算分开。这个组合抓住了大量意外的过度支出。重试和循环的浪费打击更大，说实话我没想到。一直专注于模型成本，直到端到端跟踪工作流才发现重试循环。更便宜的模型无法修复一个代理调用300次的问题。我现在虔诚地跟踪的数字是：总支出除以成功完成的工作流数（包括调用、重试和回退）。在降低每次调用成本的同时，重试却在增加，这使得仪表盘看起来干净，但实际账单却越来越糟。你的支出控制是在收费前阻止请求，还是仅仅事后警报？你的账单中有多少比例是失败和重试的垃圾？