人们究竟是如何给AI代理分配成本的？

Reddit r/AI_Agents 新闻
ai-agents cost-attribution llm-inference multi-agent-workflows budget-management ai-optimization

摘要

这篇文章探讨了准确评估AI代理成本的挑战，这些成本超出了LLM的开销，包括在多代理环境中用于测量的工具和模型。

我之所以思考这个问题，是因为“LLM开销”这个术语似乎无法完整地衡量一个代理的真实成本。假设一家公司有40个代理分布在8个团队中。一个独立的代理可能涉及：LLM推理工具或API调用、向量数据库使用、重试、浏览器或计算时间、人工审批或审核、调用其他代理。因此，如果每月的AI账单是18,000美元（假设），你如何回答以下问题：哪个代理成本最高？哪个团队应该承担成本？哪个工作流实际成本高昂？有多少成本来自重试或代理？实际的度量单位应该是什么？代理 / 用户 / 团队 / 工作流 / 任务 / 结果。最后一个似乎很棘手，尤其是当代理开始调用其他代理时。我看到有些人使用像LiteLLM或Portkey这样的工具，或更广泛的人工智能基础设施平台，如TrueFoundry。Lyzr's Control Plane也在系统中包含了代理级别的预算上限和成本归因功能。我很好奇人们在实际中是如何做的：你们是否有一个在多代理工作流中仍然有效的成本模型，还是大多数团队仍然只查看模型提供商的账单？
查看原文

相似文章

你们究竟是如何降低 Agent 系统成本的？

Reddit r/AI_Agents

本文探讨了 AI Agent 系统在成本优化和 FinOps 方面面临的挑战，指出了 Token 账单不可预测、缺乏细粒度归因工具等问题，并提到了缓存和硬性限制等应对策略。