batch-api

一位开发者讨论了将所有推理视为实时处理而导致代理工作流成本高昂的问题，并向社区询问有哪些原生支持批量API的框架或模式来降低成本。

一份实用指南，列出了使用LLM API时降低成本的10种策略，包括模型选择、提示缓存、批处理以及监控费用。