本地9B模型上的图工作流与代理循环:相同准确率,大幅减少令牌

Reddit r/AI_Agents 新闻

摘要

一项使用本地9B模型进行电子邮件分类的实验比较了图工作流和ReAct风格的代理循环,发现图工作流在相似准确率下显著减少令牌使用量。

大家好!我进行了一项小型实验,在M1 Macbook Pro上运行Qwen 3.5 9B模型,比较标准ReAct风格循环与图工作流在电子邮件分类任务中的表现。最初的假设是,这将提高重复执行的一致性(passk),可能提升准确率,并在令牌使用和时间方面更高效。准确率差异很小,统计上不显著。但效率差距相当显著——ReAct循环会叙述很多,并产生更多输出令牌(在我们的设置中多2.6倍),从而延长实际时间(约1.5倍),即使关闭思考模式。完整分析在评论中。我很好奇这些结果在不同规模下是否仍然成立,例如更大任务(就输入令牌大小而言)、更多状态、更多样化的数据点等。希望听到那些在玩具设置/演示之外操作过LangGraph的人的意见。
查看原文

相似文章

结构化工作流与小规模本地模型的力量

Reddit r/LocalLLaMA

作者详细介绍了使用小型本地模型(Qwen3.5 9B)结合结构化工作流和map-reduce模式来管理上下文限制、构建自定义智能体循环的经验,并已用其取代Claude Code处理大部分任务。