我们不知道哪个团队在推高LLM账单，这里是我们的解决方案。

财务部门询问哪个团队花了多少钱，这是一个尴尬的时刻，因为没有人能够回答，就像6个团队直接使用自己的API密钥访问供应商。发票上每个供应商只有一行项目，没有按团队、项目或用例细分。第一个解决方案是手动的：每个团队负责人标记使用情况并每月报告。这持续了6周后变得不可靠。第二个解决方案是一个轻量级代理，为每个请求添加团队头信息。这提供了可见性，但告诉我们事情发生后的情况。团队可能在一周内耗尽预算，而我们在月底才知道。我们某种程度上需要的是执行而非报告。知道超支与超支前被阻止。看几种方法：AWS和Azure的成本分配 => 在账户或标签级别操作，粒度不够细，比如对于跨内部团队共享同一部署的LLM使用。自定义中间件 => 上面的代理方法，可见性有了。在其上构建预算执行逻辑本身会成为维护负担。Orqai => 在网关处为每个团队每个项目设置上限，在请求发出前执行，财务实时看到支出，而无需等待月底。较新，因此缺乏团队在大规模运行预算执行方面的经验。目前还在弄清楚如何处理突发使用，当团队合法需要暂时超过上限时。其他人如何处理这个例外。