你们是不是也遇到了代理的成本瓶颈？有没有实际支持批量API的工具？

我一直在追踪我的代理工作流成本，发现大量预算被浪费了，因为我的后台代理把所有事情都当作“实时”推理来处理。有人找到更好的代理框架或编排模式来处理这个问题吗？有没有什么框架把“批量API”当作代理循环中的一等公民？还是你们大多数人都在构建自定义队列/缓冲层，先对请求进行分组再发送给模型？我目前正在纠结是否要构建一个自定义的原生批量编排层，但如果已经有现成的模式或库被我忽略了，我也不想重新发明轮子。很想听听你们在生产环境中是如何降低代理成本的，尤其是对于那些不需要即时人工介入响应的任务。