@cHHillee:我意识到当人们谈论自己使用了多少tokens时,他们通常把缓存的输入tokens也算在内……
摘要
作者批评了在AI模型讨论中将缓存输入tokens计入总使用量的常见做法。
我意识到当人们谈论自己使用了多少tokens时,他们通常把缓存的输入tokens也算在内……这非常愚蠢……
相似文章
AI领域人人都想减少令牌使用。但如果最大的令牌浪费源头之一是关系缓冲,会怎样?
本文探讨了关系缓冲——由意图不匹配产生的额外令牌——如何成为AI交互中浪费的重要来源,并提出了“每个解决意图的令牌数”作为减少计算成本同时保持保真度的指标。
@jxnlco: Big token 希望你花40%的Token在 <div> 标签中
一条推文批评AI模型在HTML <div> 标签上浪费Token,指出分词器低效地将40%的Token分配给了结构元素。
人类打字习惯与Token计数
一篇博客文章探讨人类的打字习惯(如拼写错误、速记表达、填充词和空格)如何影响OpenAI和Claude分词器的Token计数,并指出常见的拼写错误可能会增加Token使用量和成本,而不会改变实际语义。
@pallavishekhar_: 如何减少AI代理中的Token使用?我们来理解一下。AI代理使用LLM进行思考、规划和推荐工具。每一步…
本帖子分享了减少AI代理中Token使用的策略,包括提示缓存、上下文摘要、使用较小模型、修剪工具输出、子代理、RAG以及紧凑的系统提示。
@_avichawla: 更聪明的 Claude 模型消耗的 tokens 更多,而不是更少!而且这不是 3-5% 的微小差异,而是高出 54% 的 token 使用量。…
本文分析了为何像 Claude 这样更智能的 AI Agent 在与 Supabase 等以人类为中心的后端交互时会消耗更多 Token,主要原因在于上下文发现效率低下。文章引入了 InsForge,这是一款专为 Agent 设计的开源后端工具,通过提供结构化的上下文来显著降低 Token 用量和人工干预。