人们如何在AI代理工作流中减少token浪费？

Reddit r/AI_Agents 工具
token-waste ai-agents context-deduplication open-source proxy caching model-routing

摘要

讨论了AI代理工作流中由于重复上下文导致的token浪费问题，介绍了一个名为Badgr-auto的开源代理用于去重，并询问社区如何应对该问题。

我反复遇到一个AI代理的问题：它们会一遍又一遍地重新发送大量相同的上下文。相同的文件、相同的代码块、相同的对话历史、相同的结构化上下文。在较长的会话中，token的浪费相当严重。我正在开发一个名为Badgr-auto的开源本地代理，它位于代理和模型之间，在发送请求之前移除安全的重复上下文。棘手的部分在于决定哪些内容绝对不能触碰：系统提示、工具调用、工具结果、最新的用户消息、长自然语言提示。对于在生产环境中构建或运行代理的开发者们，你们是如何处理这个问题的？你们是否会对重复的上下文进行去重、总结历史记录、使用模型路由、缓存，还是仅仅接受额外的token成本？
查看原文

相似文章