追踪每次提示的令牌使用量
摘要
作者创建了一个开源CLI工具,可实时监控AI代理每次提示的令牌使用量和API成本,并寻求有兴趣的人分享。
你好,我想知道是否有人有兴趣在与AI代理聊天时追踪每次提示的令牌使用量和API成本?就像图片中那样?我制作了一个开源CLI工具,可以实时监控当你向AI代理发送提示时的情况,但我不确定能否发布这个。如果你感兴趣,并且可能的话,我会分享它。
相似文章
提示词管理
用户向AI专业人士咨询,如何在日常工作中高效管理提示词,以减少token消耗和订阅成本。
Show HN: Frugal Tokens – 探索编程代理中的成本与使用情况
Frugal Tokens 是一款用于分析与AI模型的编程会话中的成本和使用模式的工具,帮助开发者理解和优化他们的支出。
将我的Agent令牌消耗削减72%(每个任务11.9k ➝ 3.3k)。以下是我所做的具体改动,附数据
一位开发者分享了通过精简系统提示、收紧检索、裁剪工具输出等技术,将AI Agent的令牌消耗降低72%的详细案例研究,且对成功率影响极小。
@DanKornas: AI编码代理的支出分散在多个工具中时,很容易失去追踪。ccusage是一款命令行工具,用于……
ccusage 是一款开源命令行工具,帮助开发者从本地编码代理 CLI 数据中检查 token 使用量和成本,提供日/周/月报告、模型细分以及 JSON 导出。
@pallavishekhar_: 如何减少AI代理中的Token使用?我们来理解一下。AI代理使用LLM进行思考、规划和推荐工具。每一步…
本帖子分享了减少AI代理中Token使用的策略,包括提示缓存、上下文摘要、使用较小模型、修剪工具输出、子代理、RAG以及紧凑的系统提示。