AI 代理会话中所有令牌都流向何处?

Reddit r/AI_Agents 新闻

摘要

本文分析了AI代理会话中的令牌分布,指出大部分令牌用于上下文和工具结果,而非最终输出,表明并非所有任务都需要前沿模型。

我一直在研究长时间运行的代理会话中令牌的实际去向。大部分消耗用于最近的上下文、工具结果和推理,而只有一小部分成为最终输出。这些开销中大部分并不一定需要前沿模型。在深入研究代理令牌使用时,我制作了这个分解。如果你感兴趣,我在评论中放置了完整分析。你们是如何跟踪代理中的令牌使用和成本的?
查看原文

相似文章