如何在不进行微调的情况下让智能体掌握公司知识?

Reddit r/AI_Agents 新闻

摘要

一位为物流公司构建多智能体运维系统的开发者探讨了在不进行微调的情况下赋予智能体机构知识的挑战,选择了带有‘人在环中’审批机制的检索层方案。

我正在为一家物流公司(真实公司,约100辆车)构建一个多智能体运维系统。它运行在本地模型上(Mac mini上的Qwen 2.5 14B),并与我们的生产数据库对接。智能体擅长处理实时事实:包裹在哪里、商户欠了多少钱。它们查询数据库,从不编造数据。但它们对公司实际*运作*方式一无所知:我们的流程、哪个商户需要打电话而不是发消息、我们的支付规则。这些都不在数据库的行里,只存在于人们的头脑中。 所以我一直在思考的问题:如何让智能体掌握公司的机构知识?三条路:1. **微调。** 对我来说不可行。没有硬件,没有干净的数据集,而且微调后的模型无法告诉你它从哪学到的某个事实,这违反了我的一条硬性规则:绝不说出无法溯源的内容。2. **直接连接数据库。** 对于实时数据很好,但对规则和流程毫无帮助,而且原始数据库访问存在风险。3. **一个检索层,智能体在其中查找信息。** 知识存放在一个普通数据库中,智能体像搜索包裹一样搜索它。改变一条规则=编辑一行。每个事实都保留来源。随时可以更换模型。我选择了方案3,同时方案2用于实时数据。数据库存放当前数字,知识层存放公司如何运作。 我认为实际的核心思想是:当智能体遇到不知道的事情时,不是去猜测(绝不允许)或记录死路,而是向合适的员工提出问题(按角色路由,绝不看到联系详情),将答案作为草稿捕获,由人类审批,然后成为永久知识。下次任何智能体遇到同样的空白,答案就在那里。它在运行过程中不断采访公司。 有一件事我差点搞错:起初我想让员工的答案自动添加。及时发现了问题——一个粗心的回复会成为智能体永远相信的自信错误答案。所以一切都要等待人工审批。 我真心希望被反驳的点:* 对于小型设置,检索真的是三种方案中最强的吗?还是我在为自己的承受能力找理由?* 困难的失败模式:当模型*自信地*回答但缺少上下文时检测出“我不知道”。检索为空容易检测,但自信地答错则不然。有人在不触发错误警报的情况下解决了这个问题吗?* 手动审批每个新事实是安全的,但可能成为扼杀循环的瓶颈。你会让哪些低风险知识自动审批?有人为真实生产中的智能体系统构建过知识层吗?好奇你们的系统在哪里崩溃了。
查看原文

相似文章

智能体是否需要与知识库分离的“大脑”?

Reddit r/AI_Agents

作者提出一个思维模型:AI智能体应维护一个独立的记忆层(大脑),用于存储可复用的理解,与知识库(图书馆)区分开来,以避免反复重新发现相同的信息。