标签
作者对比了 Jev 与三种 LLM 评审（Sonnet、Haiku、Gemini Flash Lite）在智能体评测中的表现：Jev 成本低 180 倍（每 1k 条裁决 $0.07）但准确率低 2.6 个百分点（90.6% vs 93.2%），建议采用 Jev 先筛 + Sonnet 处理约 16% 不确定样本的级联方案，以 1/6 成本达到 Sonnet 级准确率。
本文介绍了JEV-as-a-Judge，这是一种用于大型语言模型（LLMs）的经济高效评估方法，它使用一个仅基于决策的评判器，设置置信度阈值来接受确定的判定并上报不确定的判定，以显著更低的成本实现了与最先进模型相当的准确性。