有人在智能体工作流中使用过SLMs吗?

Reddit r/AI_Agents 新闻

摘要

一位用户向社区询问在智能体工作流中使用小型/本地语言模型执行特定任务(如路由、分类和提取)的情况,并分享了对大型模型是否总是必要的思考。

我很好奇是否有人在实际的智能体系统中使用小型/本地语言模型。不一定是作为智能体的主要“大脑”,而是用于工作流的特定部分,比如路由、分类、提取、总结、工具选择、验证、内存清理或简单的决策步骤。我一直在想,很多智能体流程可能不需要每一步都用大型模型。有些部分感觉可以由一个较小的微调模型来处理,尤其是当任务范围狭窄且重复时。有人在生产环境或严肃项目中尝试过吗?智能体管道的哪些部分用SLM效果很好,哪些部分仍然需要较大的模型?我很想听听真实的例子,即使是很小的例子也行。
查看原文

相似文章

结构化工作流与小规模本地模型的力量

Reddit r/LocalLLaMA

作者详细介绍了使用小型本地模型(Qwen3.5 9B)结合结构化工作流和map-reduce模式来管理上下文限制、构建自定义智能体循环的经验,并已用其取代Claude Code处理大部分任务。

超小型LLM真的有用吗?

Reddit r/singularity

探讨了非常小的语言模型是否能妥善处理日常对话,以及哪些训练因素使它们表现更佳。

小模型代理栈为何未能成为默认选择,与它们能否工作无关

Reddit r/LocalLLaMA

小型语言模型在代理任务上的表现可匹敌甚至超越大型前沿模型,且成本仅为后者的一小部分,然而其采用率仍落后,原因在于前沿实验室没有动力推广它们。一个关键问题是,小模型常常通过有缺陷的推理得出正确答案,这可以通过检索和验证层来缓解。