从构建AI代理中学到的教训

在过去几年里，我一直在构建AI代理，并通过艰难的方式学到了很多东西。我与这个领域许多构建者交流，经常听到这样的话：“我们只用3-4人的团队在短短2-3个月内就能构建出如此惊人的东西。”这确实让我会心一笑，因为这正是我曾经的感受。你构建了一些东西，它开始给出答案，你会觉得取得了巨大的进步。但随后你开始注意到问题。同一个问题会给出不同的答案。代理不知道何时不该做某事。即使在没有足够信息时，它也会给出一个令人信服的答案。你意识到，让代理产生答案和让它持续产生正确答案并在不该回答时拒绝，是两件非常不同的事情。在传统代码中，当出现问题时，你通常会得到一个错误。但使用大语言模型时，你可能会得到一个完全不正确但看起来极其可信的响应。这就是为什么构建可靠的代理比最初看起来要困难得多的原因。以下是我在这个过程中学到的一些东西。从最终目标开始，而不是代理本身。你实际想要实现什么？实现它需要什么信息？在此过程中需要做出哪些决定？更重要的是，代理应该做什么，不应该做什么，以及何时应该简单地说“我不知道”或“我做不到”？我发现从结果倒推工作比从大语言模型能做什么开始要有用得多。上下文至关重要。但更多的上下文并不总是更好。在我经验中，许多代理工作本质上是一个上下文问题。找到正确信息，以代理能实际使用的方式构建它，并过滤掉它不需要的内容，可能是所有这些中最困难的部分之一。目标不是给代理所有可用信息。而是弄清楚它实际完成任务需要什么，何时需要该信息，以及可以省略什么以减少错误的可能性。不要让大语言模型成为寻找钉子的锤子。仅仅因为大语言模型能做某事，并不意味着它应该做。我越来越倾向于在可能的地方使用确定性方法，只在真正需要推理、解释或灵活性时使用大语言模型。并非每个问题都需要大语言模型，也不是代理工作流程中的每个步骤都需要由它处理。构建代理既是一门艺术，也是一门科学。我通过不断试错才学会了在哪里给予代理自由，哪里限制它，提供多少上下文，以及何时依赖确定性系统。我仍在学习。请添加你从经验中发现的任何东西。