有人在智能体工作流中使用过SLMs吗?
摘要
一位用户向社区询问在智能体工作流中使用小型/本地语言模型执行特定任务(如路由、分类和提取)的情况,并分享了对大型模型是否总是必要的思考。
我很好奇是否有人在实际的智能体系统中使用小型/本地语言模型。不一定是作为智能体的主要“大脑”,而是用于工作流的特定部分,比如路由、分类、提取、总结、工具选择、验证、内存清理或简单的决策步骤。我一直在想,很多智能体流程可能不需要每一步都用大型模型。有些部分感觉可以由一个较小的微调模型来处理,尤其是当任务范围狭窄且重复时。有人在生产环境或严肃项目中尝试过吗?智能体管道的哪些部分用SLM效果很好,哪些部分仍然需要较大的模型?我很想听听真实的例子,即使是很小的例子也行。
相似文章
结构化工作流与小规模本地模型的力量
作者详细介绍了使用小型本地模型(Qwen3.5 9B)结合结构化工作流和map-reduce模式来管理上下文限制、构建自定义智能体循环的经验,并已用其取代Claude Code处理大部分任务。
超小型LLM真的有用吗?
探讨了非常小的语言模型是否能妥善处理日常对话,以及哪些训练因素使它们表现更佳。
多智能体RL何时能提升LLM工作流?工作流、规模与策略共享的权衡
本文研究了端到端强化学习训练何时能改善多智能体LLM工作流,比较了不同工作流、任务和模型规模下的共享策略与隔离策略训练,揭示了条件性权衡。
小模型代理栈为何未能成为默认选择,与它们能否工作无关
小型语言模型在代理任务上的表现可匹敌甚至超越大型前沿模型,且成本仅为后者的一小部分,然而其采用率仍落后,原因在于前沿实验室没有动力推广它们。一个关键问题是,小模型常常通过有缺陷的推理得出正确答案,这可以通过检索和验证层来缓解。
@j_golebiowski: 下一代智能体栈:以前沿LLM作为编排器,微调SLM作为技能。对于PII脱敏,编排器从不…
描述了一种智能体栈设计,其中前沿LLM编排微调SLM进行PII脱敏,通过将原始文本保留在本地来确保隐私。