使用Jev构建工具链

智能体以循环方式运行：大语言模型决定执行什么操作，工具执行该操作，模型评估结果，然后继续循环直至任务完成。

智能体和大语言模型最初难以集成到依赖结构化数据和可预测接口的软件应用中。如今出现了两个基础组件，极大简化了集成过程：

• 工具调用允许模型发起结构化请求并获取结构化结果
• 结构化输出使模型能返回结构化数据

但即使有了这些组件，智能体循环仍然缓慢且昂贵：每个决策都需要再次调用模型。

此时Jev登场。Jev是TypeSafe AI发布的新模型。该公司宣称在分类任务中，其推理速度比同类大语言模型快200倍，成本降低400倍。

Diogo Almeida@CompleteSkeptic·9月16日联合发明ChatGPT后，我不断自问：为何超人类聊天模型未能引领通用人工智能的发展？

过去两年我秘密研发了一种新模型训练方式（RLCD），并正在发布一种新型前沿AI模型：Jev

• 速度提升20-200倍 • 成本降低40-400倍 显示更多3.5K12K67K32M

本文将解析Jev的工作原理、其在智能体循环中的定位，以及如何与LangChain集成使用。

关于Jev

Jev实际上传统意义上的大语言模型，它不生成文本。TypeSafe AI团队将其称为“系统一模型”：

📖 系统一模型是一类专为快速结构化决策设计的AI模型，软件可直接调用。此类模型评估状态后返回类型化答案及概率值。

它通过校准决策强化学习（RLCD）训练。您的代码利用这些结果指导智能体后续操作，无需为每个决策调用完整的聊天模型。

调用Jev模型时，需发送状态（上下文）和关于该状态的问题。以下是其文档中工单分类示例的单问题版本：

文档示例返回此紧急度判断结果（此处省略其他响应内容）：

显示该消息有99.9%概率属于紧急事项，应用程序可据此调整工单优先级。

支持三种问题类型：

• 选择题：从选项集中选择。返回各选项概率及整体置信度评分
• 评分题：按等级评估输入（如低/中/高）。返回连续分数、底层分布及置信值
• 是非题：回答判断性问题。返回陈述为真的概率值

重要特性在于：可在单次请求中针对同一状态提问多个问题。

💡 系统一模型会并行处理请求中的所有问题。增加问题数量几乎不影响响应时间，仅需为额外问题支付少量令牌费用。

如需多问题工单分类示例，请参阅TypeSafe快速入门指南。

总之，与传统大语言模型不同，Jev既不受文本生成限制，也无需顺序决策！

如何与LangChain集成使用

LangChain的提供商无关模型架构，非常适合在众多集成和模型供应商之外支持Jev。

LangChain通过TypeSafeClassifier接口集成Jev。只需向.invoke()方法传递状态和问题，即可获得分类结果而非聊天响应。

安装langchain-typesafe并设置TYPESAFE_API_KEY后，即可发起调用：

状态可以是文本、结构化数据或LangChain消息对象。这使得通过智能体现有上下文，在节点或中间件钩子中调用Jev变得简单直接。

您可以将其构建到自定义中间件或工具中！

应用场景

Jev并非大语言模型的直接替代品。它不生成文本，但能处理当前常使用大语言模型的分类任务，同时显著降低延迟和成本。这使其成为驱动智能体的绝佳补充：用大语言模型进行开放式推理和生成，用Jev执行快速结构化决策。

模型路由

简单查询无需使用复杂调试任务的同等模型。模型路由中间件让Jev评估请求，并根据预设条件选择模型，使简单任务快速廉价，复杂任务使用更强大模型。

路由器从最新用户消息中选择模型并在整个运行过程中使用。概率值和置信度信息也会保存在智能体状态中。

自动模式

智能体本质上仍不可信。它们可能收到错误指令（无论自然产生还是来自蓄意攻击），从而诱导执行非预期操作。

Claude、Codex、Cursor等编程工具链已实现在执行前分类危险操作的机制，这逐步建立了对智能体的信任。此前，该分类器步骤始终封闭在工具链的闭源部分中。

如今已出现廉价高效的分类器模型，我们可以采用相同模式，为所有智能体部署该功能！

自动模式中间件使用Jev检查工具调用中可能的风险决策，并在工具执行前拦截危险调用。

开始使用

我们对Jev及其带来的可能性感到无比兴奋。目前已见数个精彩项目：Browserbase的Kyle Jeong以极低成本驱动浏览器使用智能体，Jarrod Watts构建了实时交易智能体，Ryan Vogel则实现了大规模邮件分拣。

虽然每周都有新模型发布，但这款引发了异常强烈的反响。期待看到各位利用LangChain与Jev创造的可能性。

欢迎在论坛反馈意见，在X平台@我们分享您的成果，或参与LangChain议题讨论！

致谢

感谢@huntlovell、@hwchase、@ccurme、@veryboldbagel及Nathan Drenzer的审阅与贡献。