本地9B模型上的图工作流与代理循环:相同准确率,大幅减少令牌
摘要
一项使用本地9B模型进行电子邮件分类的实验比较了图工作流和ReAct风格的代理循环,发现图工作流在相似准确率下显著减少令牌使用量。
大家好!我进行了一项小型实验,在M1 Macbook Pro上运行Qwen 3.5 9B模型,比较标准ReAct风格循环与图工作流在电子邮件分类任务中的表现。最初的假设是,这将提高重复执行的一致性(passk),可能提升准确率,并在令牌使用和时间方面更高效。准确率差异很小,统计上不显著。但效率差距相当显著——ReAct循环会叙述很多,并产生更多输出令牌(在我们的设置中多2.6倍),从而延长实际时间(约1.5倍),即使关闭思考模式。完整分析在评论中。我很好奇这些结果在不同规模下是否仍然成立,例如更大任务(就输入令牌大小而言)、更多状态、更多样化的数据点等。希望听到那些在玩具设置/演示之外操作过LangGraph的人的意见。
相似文章
结构化工作流与小规模本地模型的力量
作者详细介绍了使用小型本地模型(Qwen3.5 9B)结合结构化工作流和map-reduce模式来管理上下文限制、构建自定义智能体循环的经验,并已用其取代Claude Code处理大部分任务。
我对邮件代理唤醒时机与轮询所有内容进行了基准测试:首个切片下游tokens减少91%。
对一种仅基于相关触发器唤醒的邮件代理事件路由方法进行基准测试,与轮询相比,下游tokens使用量减少91%。
记住,不要重读:用于令牌高效自主实验的有状态ReAct智能体
本文提出使用LangGraph中的有状态ReAct智能体取代无状态自动研究模式,将每次迭代的令牌成本从O(n)降低至O(1),在超参数调优和代码优化基准测试中实现了52-90%的令牌减少。
你的智能体可能不需要更好的模型,它需要一个更好的循环。
使用Claude Opus 4.8比较智能体运行时的实验表明,运行时效率对性能和成本的影响大于模型本身,强调了AI智能体中更好循环的必要性。TrueForge被突出为一个有用的开源工具,用于检查和优化运行时。
在4GB笔记本GPU(RTX 3050 Ti)上的本地智能体工作空间:tok/s 以及小型模型在调用工具、构建制品和RAG时遇到的困难
作者在4GB RTX 3050 Ti笔记本GPU上对Bike4Mind工作空间内的本地Qwen模型进行了基准测试,发现采用Q4_K_M量化的2B模型是适配VRAM的最佳选择,达到了96 tok/s。较小的模型在工具选择、需要多个模型的制品生成以及导致模型切换开销的RAG嵌入方面存在困难。