为公司构建 AI Agent

好吧，我们在工作中花了太长时间构建一个代理系统，我想分享真正有效的方法，因为我们基本上先把所有错误的方法都试了一遍。这个设置听起来很简单。用户问代理一些问题，代理需要实际去处理任务。简单吧。其实不然。我们尝试的第一件事是一个巨大的系统提示，里面塞满了公司知道的所有东西。每一条政策，每一个产品，每一个边缘情况。它大概能撑一周，然后就崩溃了。模型变得困惑，把东西混在一起，用退货信息回答账单问题，提示越大，感觉越笨。而且你无法调试任何东西，因为它就是一个大杂烩。所以我们换了个方向。一个代理，但我们给了它一大堆工具。大概400个。结果发现模型在这么多选项中根本选不对。它抓错工具，把奇怪的东西串在一起，每加一个新工具，选择变得更糟而不是更好。零扩展性。下一个想法是一个主代理动态生成一堆子代理。感觉挺聪明。实际上却是一团糟。没有明确的所有权，子代理互相干扰，上下文到处泄露，你根本不知道是哪个代理回答了你。最终奏效的是一个编排器加上一组固定的子代理，有点像你组织项目的方式。顶层有一个路由器，它的全部工作就是弄清楚请求属于哪个领域。然后每个子代理有自己的系统提示和一小套它真正擅长的工具。账单代理只懂账单。订单代理只处理订单。它们之间没有交叉。这样一来，路由准确得多，因为编排器不是选择工具，而是选择领域，这是一个容易得多的决策。每个代理保持敏锐，因为它的上下文很小且专注。想要新的能力，只需添加另一个子代理。你不需要重写任何东西。就是这样。好奇是否有人找到了其他能够在负载下保持稳定的结构。