我们测试了Jev在准确性、可重复性、延迟和成本方面的表现，与LLM评判模型进行比较，以评估系统一模型能否为智能体评估提供新方法。https://t.co/hrqdNpm0g8

Jev-as-a-Judge：智能体评估新范式

作者：Daniel Shea 和 Seán Roche

核心要点：

• Jev是根本不同于传统模型的评估器。 它直接返回类型化答案，而非像LLM评判器那样生成文本。

• Jev在连续评分中表现出极高的一致性。 其质量评分方差比GPT-5.6 Luna、Terra和Claude Sonnet 4.6低92至913倍。

• Jev同时是最快且最经济的方案。 平均响应时间0.44秒，单次调用成本0.00035（总计0.34，而Claude耗费$28.17）。

• 结果令人鼓舞但仍处早期阶段。 尽管本次测试范围有限，但Jev的表现指向了智能体评估领域一个极具潜力的新方向。

当前智能体评估主要分为两类：基于代码的评估和LLM评判器评估。两者各有局限：基于代码的评估器仅适用于输入固定的特定场景，而LLM评判器可能运行缓慢、成本高昂且结果不稳定。随着TypeSafe AI公司Jev模型的发布，我们希望探索“系统一”模型是否能成为第三种评估形式，并研究其对智能体工程的影响。

什么是Jev？

Jev是TypeSafe AI推出的新模型。Jev并非传统LLM，它不生成文本，而是被TypeSafe AI团队称为“系统一”模型：

📖 系统一模型是一类专为快速结构化决策设计的AI模型，可直接被软件调用。该模型评估状态并返回类型化答案及概率。

自回归LLM与系统一模型（Jev）的回答方式对比

自回归LLM与系统一模型（Jev）的回答方式对比

据TypeSafe AI介绍，Jev在分类任务中比同类LLM快200倍，成本降低400倍。

Jev为何可能成为优秀的智能体评估器？

当前智能体评估分为基于代码的评估和LLM评判器评估，各具优势、局限与权衡。

基于代码的评估与代码发展史同样悠久。其优势在于成本低、速度快、结果可靠，但主要缺点在于适用范围狭窄。由于传统函数需要确定性输入，其评估智能体随机行为的能力受限。例如，虽然传统函数可以评估智能体是否在首次运行时调用了工具，却难以评估智能体是否能正确运用工具结果回答用户问题。在开放式任务中，同一工具结果可能存在多种有效应用方式，若将所有可接受答案编码为确定性逻辑，很快会触及基于代码评估的局限性。

LLM评判器则通过LLM解析智能体的非结构化执行轨迹并评分。它能接受问题、轨迹和证据等非结构化输入，通过提示词评估响应是否满足用户需求。

LLM评判器生成评估结构化结果的过程

LLM评判器生成评估结构化结果的过程

然而正如所有智能体工程师所证实的，LLM评判器并非完美方案。它们本质上是非确定性系统，不具备构建可靠测试机制的坚实基础。相比传统代码评估，它们运行更慢且成本更高。

智能体评估本质是决策任务：根据智能体的状态和行为分配反馈评分。Jev专为此类场景设计。它对结构化状态评估类型化问题，返回带概率的类型化答案。而自回归模型通过逐词生成作出判断。在本实验中，这种决策优先的设计带来了更低延迟、更低成本和更小方差。

Jev评判器生成评估结果的过程（注：结构化输出为模型原生支持）

Jev评判器生成评估结果的过程（注：结构化输出为模型原生支持）

Jev支持三类问题：

选择题 选择单一选项并返回概率与置信度。

• 示例：“最终答案是否基于检索证据？”
• 返回值：0.0至1.0的浮点数，1.0表示完全基于证据

评分题 根据有序评分标准对答案评级，返回概率与置信度。

• 示例：“答案的有用程度如何？”
• 返回值：1（无用）至5（非常有用）的评分标准分数，附带概率与置信度

是非题 返回是/否判断为真的概率。

• 示例：“哪种搜索结果最能描述本次运行？”
• 返回值：searched_appropriately、searched_unnecessarily或failed_to_search之一，附带概率与置信度

多个原子问题可针对同一状态并行评估。

Jev可回答的三类问题及其在评估中的应用示例

Jev可回答的三类问题及其在评估中的应用示例

当智能体行为、检索数据或轨迹上下文在不同运行间变化时，评判器对比会变得困难。Deep Agents和LangSmith使我们能够捕获单次智能体运行作为数据集，并在各模型间重放执行。

使用Jev进行评估

为测试Jev性能，我们需要对智能体进行评分。我们使用开源智能体框架Deep Agents构建了目标智能体，并在LangSmith中将测试集定义为数据集，确保每个评估器针对相同问题和预期行为运行。测试集包含五个天气查询请求：

对于数据集中的每个示例，我们捕获天气智能体的响应，并将完整输出作为固定示例存储在LangSmith中。每个评判器通过两个信号评估这五次捕获的运行：质量评分（连续值）与通过判定（二元值）。

为区分准确性和可重复性，我们安排人类评审员根据相同评分标准标注每个固定响应。以人类评审员标注作为基准分，可以更深入分析精确度和正确性对评估器整体效能的影响。

准确性衡量与人类基准的一致性。方差衡量评判器对相同智能体行为是否总能得出相同判断。方差小并不自动意味着准确性高：评判器可能始终保持错误判断。但当评判器具备准确性时，较小的方差使其在生产环境中更可靠。

我们将Jev与GPT-5.6 Luna、GPT-5.6 Terra和Claude Sonnet 4.6进行比较，计算了100次重复测试的案例方差及与人类基准的一致性。

评估结果

准确性

以人类评审员标注为基准，我们计算了二元通过/失败决策的准确性。

在通过/未通过二元判定上，Jev在所有500次重复决策中与基准完全一致。Terra的决策一致率为99.8%，Luna为96.4%，Claude为80.0%。

精确度

准确性反映评判器与人类基准的一致程度，精确度则衡量其在智能体行为不变时是否产生相同质量评分。我们通过各评判器评分的观测方差来衡量精确度。

Jev的案例内平均观测方差最低：0.0000149。Luna的方差比Jev高433倍，Terra高913倍，Claude高92倍。

本实验无法解释Jev方差较小的原因。一种假设是模型针对不同类型输出进行了优化。TypeSafe将Jev描述为经过训练返回校准概率和类型化答案的决策模型，而自回归LLM评判器先生成文本，再将输出映射为评分。这种差异可能使Jev更契合此类有界评估任务，但该结论属于观察性发现，并非证明其训练目标导致方差降低的实证。

成本与延迟

低成本使大规模运行智能体评估成为可能。当评估调用成本高昂时，团队不得不在覆盖率与预算间权衡。本实验中Jev单次调用成本$0.00035，显著缓解了这一矛盾。团队能负担更多重复判断和更频繁的回归测试。这对在线评估尤为重要——更低的单次成本使团队能在更多生产轨迹上运行评判器，产生更密集的反馈信号。

实现大规模在线评估

对于每天产生10,000条轨迹的生产级智能体，观测到的单次调用成本差异将产生显著影响。

为评估低成本调用的实际效用，我们定义信号价值为二元基准一致性与二元可重复性的乘积。可重复性指两次独立调用返回相同结论的概率。该指标奖励既准确又稳定的评判器，同时惩罚始终保持错误的评判器。

像Jev这样高信号价值、低成本的评判器可提升在线评估器的价值。团队能在更多生产轨迹上生成反馈，更早发现质量变化，并在反馈趋势恶化时设置警报。

新一代智能体评估体系

当前每项智能体评估都涉及权衡。评估更多运行记录、评估更多维度或测试更多变更都会增加测试成本，迫使团队不得不缩减评估范围。

在本实验中，Jev单次判断成本为$0.00035。除低成本优势外，Jev还展现出高准确性和低方差，意味着评判结果可靠且信号价值高。如此低成本下的高质量评判器，使构建者能针对多个核心标准评估每次智能体运行，度量每项变更，并在需要确保置信度时重复判断。

这至关重要，因为构建卓越智能体需要大量测试与监控。评估频率越高，进入开发周期的有用反馈就越多。

我们仍需观察本实验结果能否推广至其他智能体和生产工作流。此外，低成本可能放大错误——持续错误的评估器可能在大规模场景中产生不良反馈。工程师仍需在工作流中整合人工审核和评判器校准。

新型系统一模型风格可能实现高质量评估的普及化，从而加速整个智能体开发生命周期。智能体工程师可将更多轨迹转化为反馈，更早发现回归问题，在构建、测试、监控和部署智能体过程中提速。这不仅是评估成本的降低，更是构建可靠智能体所需的更紧密反馈循环。

可复现性

本项目的GitHub仓库已公开。

我们通过LangSmith Gateway运行LLM评判器：GPT-5.6 Luna、GPT-5.6 Terra和Claude Sonnet 4.6。Jev通过langchain-typesafe==0.0.1a2接入。

为确保可复现性，本次运行使用Deep Agents 0.7.15、LangChain OpenAI 1.6.2、LangSmith 0.12.6和Tavily Python 0.8.3。未对LLM评判器设置temperature、top_p、seed或max_tokens，均采用各平台默认值。实验元数据中未提供Jev服务版本信息。

了解更多

若想深入了解如何使用Jev构建智能体，LangChain将于9月22日（周二）与TypeSafe AI团队举办线上直播。