有人在智能体工作流中使用过SLMs吗?

Reddit r/AI_Agents 新闻

摘要

一位用户向社区询问在智能体工作流中使用小型/本地语言模型执行特定任务(如路由、分类和提取)的情况,并分享了对大型模型是否总是必要的思考。

我很好奇是否有人在实际的智能体系统中使用小型/本地语言模型。不一定是作为智能体的主要“大脑”,而是用于工作流的特定部分,比如路由、分类、提取、总结、工具选择、验证、内存清理或简单的决策步骤。我一直在想,很多智能体流程可能不需要每一步都用大型模型。有些部分感觉可以由一个较小的微调模型来处理,尤其是当任务范围狭窄且重复时。有人在生产环境或严肃项目中尝试过吗?智能体管道的哪些部分用SLM效果很好,哪些部分仍然需要较大的模型?我很想听听真实的例子,即使是很小的例子也行。
查看原文

相似文章

SLM的消亡?

Reddit r/LocalLLaMA

作者反思了27B以下的小语言模型是否正被Qwen 3.5和Gemma 4等更大模型所掩盖,并询问社区中有哪些适合智能体编码任务的高性能SLM。

大小真的重要吗?(LLMs vs. SLMs)

Reddit r/artificial

讨论了大语言模型(LLMs)与小语言模型(SLMs)之间的权衡,质疑在生产用例中是否总是需要更大的模型,并探讨了AI部署的未来。

衡量微任务资格差距:现成小语言模型在何时足以支撑智能体框架?

arXiv cs.AI

该论文在四类智能体框架微任务上,对现成的 Qwen3 和 Llama-3 小语言模型进行了基准测试,并以 CI 锚定的资格阈值为参照。结果显示,16 种配置中没有一种达标,且这一差距更多与模型规模相关,而非量化精度。作者建议将小语言模型置于已能满足阈值的非 LLM 基线之后,而非让它们承担主要决策角色。

结构化工作流与小规模本地模型的力量

Reddit r/LocalLLaMA

作者详细介绍了使用小型本地模型(Qwen3.5 9B)结合结构化工作流和map-reduce模式来管理上下文限制、构建自定义智能体循环的经验,并已用其取代Claude Code处理大部分任务。