运行AI代理最昂贵的部分不是令牌消耗，而是花在弄清楚它们行为原因的时间。

Reddit r/AI_Agents 新闻
cost debugging ai-agents production engineering langfuse

摘要

构建AI代理的过程揭示，主要成本在于调试——花费数周追踪诸如上游API变更等问题——而不仅仅是令牌或模型推理成本。

在过去一年构建代理工作流的过程中，我对实际成本所在有了不同的看法。每个人都在纠结令牌成本、模型定价等等。但说实话，我们最大的开销并不是推理，而是调试。举个例子：我们花了将近两周时间调整提示词，因为代理开始产生更差的输出。我们确信是提示词的问题。结果发现是上游API略微改变了响应格式，而我们某个工具处理不当。提示词本身没有问题。我们是在深入查看Langfuse中的追踪记录并逐步跟踪运行之后才查明原因的。在此之前，我们基本是在猜测。事后看来，那两周的令牌消耗与我们浪费在错误方向上的工程时间相比微不足道。我在检索、工具调用、记忆系统和评估管道中也遇到过类似问题。一半的挑战就是弄清楚问题到底出在哪里。很想知道其他人是否有同感。在生产环境中，对你来说最大的成本是什么：推理、调试、评估、人工审核、基础设施，还是其他？谢谢！
查看原文

相似文章

每个AI提示都需花费成本——这改变了一切

Reddit r/AI_Agents

文章认为，AI的真正挑战不仅在于构建更智能的模型，更在于以规模化的方式降低成本效率，强调了减少token使用、提升速度以及优化基础设施的重要性。

按代币计费是智能体的错误成本指标

Reddit r/AI_Agents

文章认为，代币价格作为AI智能体的成本指标并不充分，提出有效成本应通过成功运行和验证来衡量，并讨论了路由和失败策略。