我的智能体太贵了！关于你的 LLM Token 消耗，你希望早知道什么？

Reddit r/AI_Agents 新闻
costs llm-tokens agent-costs token-tracking efficiency

摘要

一个关于运行 LLM 智能体成本高昂的讨论帖，用户分享抱怨并寻求关于追踪 Token 花费及提高效率的建议。

几乎每天我都在 Reddit 上看到不同社区的发帖抱怨 LLM 成本太高。我看到： * 人们对账单感到惊讶 * 许多人没有简单的方法来追踪跨智能体的花费 * 其他人无法找出浪费钱的地方。 另一类常见的问题和帖子是关于如何让 LLM 更高效，无论是通过切换模型还是改进工作流程。我想知道： *除 Token 和成本追踪外，关于智能体花费，你希望提前知道哪些事情？* 例如： * 我的花费是否比其他有类似工作负载/活动的人更高？ * 如果我没有改变任何东西，为什么我的花费在上升？ * 高效的智能体工作流程是什么样的？我该如何改进？ 在评论中告诉我吧。
查看原文

相似文章

免费 LLM API

Product Hunt

该服务每月通过 API 提供 10 亿免费 LLM tokens。

大语言模型搜索代理的推理时预算控制

arXiv cs.AI

本文提出了一种用于大语言模型（LLM）搜索代理的两阶段推理时预算控制方法，利用信息价值（VOI）分数在多跳问答过程中优化工具调用和 Token 分配。