规模与支出：您如何实际跟踪和削减生产AI成本？

Reddit r/AI_Agents 新闻
ai-costs production-ai cost-optimization inference expense-tracking engineering scaling

摘要

一个讨论，旨在寻求实际中跟踪和降低生产AI成本的策略见解，强调成本飙升和与质量的权衡等挑战。

大家好，我们都知道大规模运行AI成本高昂，但真正的痛点在于使用量突然飙升而原因不明。我正在进行一些早期研究（保证不是推销），关于生产AI的实际经济学。我想听听不理想的现实和工程上的创伤，而不是教科书上的理想解决方案。如果您正在生产环境中运行AI，我很想听听您对以下任何方面的看法：账单：您如何跟踪单位成本（每个请求、任务或客户）？飙升：上次推理成本突然飙升时，什么出了问题？根本原因：您花了多长时间才找出飙升的原因？修复：您改变了什么来削减成本（缓存、路由、较小的模型、提示修剪）？权衡：您如何证明削减成本没有破坏质量或延迟？技术栈：您是构建了内部跟踪工具，还是停留在手动电子表格？负责人：当API账单到达时，谁实际被责备？如果您曾花费数周时间调试OpenAI或Anthropic的大额账单，您从中学到了什么惨痛教训？谢谢！
查看原文

相似文章