如果你在生产环境中运行代理,你能分辨哪一步在消耗你的预算吗?

Reddit r/AI_Agents 新闻

摘要

r/LLMDevs 上的一位用户讨论了在多步骤AI代理运行中归因成本的挑战,其中 SDK 日志只反映最终结果,使得难以确定哪一步在消耗预算。

昨天,r/LLMDevs 上有人告诉我一些我之前没想过的事情。他说他的 SDK 给出的用法只反映了最终结果消息。对于一个背后有六个子代理的运行,他记录了 input=23, output=11236。所以,即使他记录了每个调用,也无法归因其中任何一步。那么——如果你在生产中运行多步骤代理,你能看出哪一步或哪个代理实际上在花钱吗?还是你在最后看到一个数字然后猜测。不卖东西,没有链接。我 19 岁,正在研究推理成本归因。“是的,我们可以,这是方法”也是一个有用的回答。
查看原文

相似文章