通过为多智能体添加共享记忆层,我的 token 支出降低了 50% 以上
摘要
作者通过为多智能体系统添加项目级共享记忆层,使编排器读取状态摘要而非每次重放完整历史,token 支出从约 580 美元/月降至约 260 美元/月,并消除了多个工作智能体重复劳动的问题。
我用的是一个编排器架构:一个模型负责规划和分派任务,worker 负责执行。在加入记忆层之前,编排器的每一次调用都在重放完整的项目状态——已经做了什么、还有哪些待办,以及其他信息,每一轮都会重新注入。编排器超过 60% 的 token 只是用在了重读上一次调用中已经拥有的上下文上,而在那之前我的账单大约是每月 580 美元。
worker 那边更糟,因为它们对其他 worker 做了什么毫无感知。于是 3 号 agent 会重写 1 号 agent 已经构建好的东西,而编排器又会重新分派 20 次调用之前就已经发出的任务——因为它跟丢了状态。
到这一步我已经没什么选择,于是我尝试加一个共享记忆层,让所有 agent 都从同一个存储中读写,并按项目做隔离。现在编排器每次调用拿到的是当前状态的排序摘要,而不是完整历史;worker 在动手构建任何东西之前,会先检查哪些内容已经存在。token 支出直接降了一半,重复劳动也基本消失了。目前我的账单大约是每月 260 美元,记忆层的成本是每月 19 美元,所以算下来我每月净省 300 美元——对我来说已经足够了。
如果你也在跑多智能体系统,而觉得账单偏高,可以去查一下每次调用里有多少 token 只是被用来重新注入上下文,因为这就是我当初的全部问题所在。
相似文章
将我的Agent令牌消耗削减72%(每个任务11.9k ➝ 3.3k)。以下是我所做的具体改动,附数据
一位开发者分享了通过精简系统提示、收紧检索、裁剪工具输出等技术,将AI Agent的令牌消耗降低72%的详细案例研究,且对成功率影响极小。
记忆是有代价的:资源约束下学习记忆的价值
论文提出 TokenWorth,一个轻量级在线记忆框架,在严格的资源约束下学习哪些历史经验值得保留和重用,从而在提升终身智能体任务成功率的同时减少 token 消耗。
@freeman1266: 通过优化策略和模型路由,将每月数千美元的 AI 编程成本大幅削减 80% 如果低效的上下文管理和盲目使用高昂模型,将会使账单飞涨。 通过实施提示词缓存、精简上下文文件以及修复工具调用的自动循环,开发者可以显著减少无效的 Token 消耗。…
本文介绍了通过提示词缓存、精简上下文、多模型路由(将日常编码任务交给Kimi 2.6,核心架构用高级模型)等策略,将AI编程成本削减80%的实用技巧。
@yibie: 推荐这篇硬核实测。一个工程师用了一周追踪自己的 coding agent session,发现任务本身只消耗了 0.67% 的 token——其余 99% 全花在搬运工具目录、skill 描述和系统 prompt 上。工作对开销比 1:1…
An engineer tracked his coding agent's token usage over a week, finding that only 0.67% of tokens were spent on actual tasks, with 99% consumed by tool directories, skill descriptions, and system prompts. He provides optimization strategies, including shell output filtering which saved 46.9% of tokens.
@wsl8297: 用 AI Agent 跑复杂任务,最难受的往往不是模型不够强,而是对话一变长,上下文就开始爆仓。 你还得一遍遍补背景、重讲流程,再加上工具调用吐出来的冗余日志,Token 像开了口子一样往外流。 最近看到腾讯开源的 TencentDB A…
腾讯开源了 TencentDB Agent Memory,通过分层记忆管理(符号化短期记忆+分层长期记忆)解决AI Agent长对话上下文爆仓问题,实测Token消耗最高降低61%,任务通过率提升超50%。