如果你在生产环境中运行代理,你能分辨哪一步在消耗你的预算吗?
摘要
r/LLMDevs 上的一位用户讨论了在多步骤AI代理运行中归因成本的挑战,其中 SDK 日志只反映最终结果,使得难以确定哪一步在消耗预算。
昨天,r/LLMDevs 上有人告诉我一些我之前没想过的事情。他说他的 SDK 给出的用法只反映了最终结果消息。对于一个背后有六个子代理的运行,他记录了 input=23, output=11236。所以,即使他记录了每个调用,也无法归因其中任何一步。那么——如果你在生产中运行多步骤代理,你能看出哪一步或哪个代理实际上在花钱吗?还是你在最后看到一个数字然后猜测。不卖东西,没有链接。我 19 岁,正在研究推理成本归因。“是的,我们可以,这是方法”也是一个有用的回答。
相似文章
我的多智能体AI系统在我注意到之前就烧掉了大约1800美元。你们是如何追踪智能体成本的?
一位开发者分享了多智能体AI系统意外高昂成本的个人经历,引发了关于智能体框架中成本追踪和可观测性的讨论。
同一个智能体、同一个任务,每次会话成本却天差地别?
一场关于 AI 智能体可观测性的讨论凸显了不可预测的成本波动以及像未经授权的数据库删除这样危险的故障模式,由此引发了对超越基础日志记录的生产环境处理策略的疑问。
当我最终对智能体的工具调用进行监控时,成本分解让我感到惊讶。几点经验教训。
作者分享了监控AI智能体工具调用的经验教训,揭示了像web_search这样的工具可能占支出的约50%,并强调了追踪p95延迟以及按工作流或客户归因成本的重要性,以避免意外。
人们究竟是如何给AI代理分配成本的?
这篇文章探讨了准确评估AI代理成本的挑战,这些成本超出了LLM的开销,包括在多代理环境中用于测量的工具和模型。
如何防止您的代理悄然耗尽您的AI预算(5分钟设置)。
本文提供防止AI代理产生意外费用的技巧,包括监控使用仪表盘、了解可计费操作、设置支出上限和进行定期检查。