我测试了一个不生成任何内容的AI模型——它只做决策

我们今天使用的大多数AI模型都是围绕生成设计的。你给它们一个提示，它们推理并生成文本、代码、结构化输出等。但实际上，我们使用这些模型的相当一部分工作并非生成，而是决策，例如：'哪个代理应该处理这个请求？' '这条消息是否紧急？' '这份文档是否包含X？' '这个属于哪个类别？' '这个工作流是否应该继续？' '这个响应是否可接受？' 我们经常将这些问题抛给相当大的生成模型，即使我们实际需要的输出只是一个标签、分数、路由或是否决策，而当前令牌成本高昂。这就是我在X上首次看到关于Jev的帖子时，它引起了我的兴趣。对于不知道的人，Jev是TypeSafe AI的一个模型，他们描述为'系统一'模型。它并非试图成为另一个通用大语言模型，而是专门设计用于快速、结构化决策。这个想法大致受系统一/系统二的区别启发：有些问题需要深思熟虑的推理，而其他问题应该快速决策。这为AI系统创造了一个有趣的架构。不是：输入 → LLM → 一切，你可能有一个轻量级决策层来决定首先需要发生什么，只有在任务真正需要时才调用更大的模型。这可能意味着在代理之间路由、分类输入、过滤请求、检查条件、对输出评分或决定是否需要昂贵的模型调用。这就引出了一个更大的问题：在当前AI代理中，有多少LLM调用实际上需要是LLM调用？我花了一些时间深入研究Jev，以了解它实际做什么、如何使用、性能/基准声称如何，以及这类东西在AI工作流中如何现实地契合。我还整理了一些实际例子，因为我认为有趣的部分不仅仅是'这是另一个新的AI模型'，而是它背后的架构理念。肯定有一些注意事项，我不会将其视为取代通用大语言模型。但将决策与生成/推理分离为构建更快、可能更高效的AI系统开辟了一些有趣的可能性。我在这篇文章中省略了大部分测试、例子和结论，以免它变成一篇论文。完整解析在此，希望对您有帮助 https://www.thepromptindex.com/jev-typesafe-system-one-model-guide.html