智能体的工具调用部分远比我们通常指向的模型简单

我所使用的每个智能体栈都通过同一个大型模型发送工具调用，该模型还负责推理，因此你为了一个通常只是“将请求映射到40个类型化函数之一”的操作，支付了整个模型和一个往返的成本。我花了几时间研究另一个极端：一个仅负责工具调用的48M参数模型。它读取你的函数模式加上一个请求，然后输出调用，如果不适用则输出空列表。它完全不能聊天。使其在如此小的尺寸下工作的技巧是JSON从不由模型生成。一个从你的模式编译出的语法生成所有结构，模型只回答五种问题：拒绝或调用、哪个工具、包含此可选参数、什么值、停止或继续。因此，格式错误的JSON和虚构的参数名不是低概率的，而是不可能发生的。这部分在任何目录上无需训练即可实现。准确性是真实的权衡。在训练过的目录上，它在一些套件上比可比的小基线高出20多分（在其中一个上严格精确匹配为86.3对63.7）。在从未见过的目录上，它与该基线大致持平，并远低于提示的前沿模型。有一个脚本可以将其专用于你自己的API，成本约为56美元的合成数据，这才是实际预期用途，每个目录一个微型模型，而不是一个大型模型处理所有内容。整个构建成本约为260美元，并且是开源的，MIT许可证，权重包含在内。由于这里的规则要求将链接放在评论中，因此不在正文中提供链接。好奇是否有人尝试过为智能体的确定性部分使用小专家模型的路线，以及在哪里遇到了问题。