多数LLM速度与准确性对比中缺失的JEV特性

多数决策系统之间的对比聚焦于两个问题：有多准确？有多快？两者都重要。但在将JEV与LLM进行基准测试时，我发现了一个容易忽视的第三个属性：你能将结构化答案视为决策对象吗？ 有效的JSON不一定是有效的决策。现代LLM API可以返回JSON。有些可以强制执行JSON模式。这很有用——但它并不能保证响应中的字段彼此一致。 对于搜索相关性决策，我请求了一个连续分数和四个相关性等级的概率。一个连贯的响应如下所示： { "score": 2.99, "probabilities": { "0": 0.0, "1": 0.0, "2": 0.01, "3": 0.99 } } 该分布支持最终分数：它几乎肯定是等级3。现在考虑这个： { "score": 2.99, "probabilities": { "0": 0.10, "1": 0.60, "2": 0.25, "3": 0.05 } } 这可以是完全有效的JSON。它甚至可能通过JSON模式验证器。但它不是一个连贯的决策。最终分数说“几乎是等级3”；报告的不确定性说“主要是等级1”。生产系统应该信任哪个字段？ 模式合规性是有代价的。人们倾向于说：“LLM已经可以产生结构化输出。”是的——但实际答案更复杂。一些提供商支持完全模式约束输出；其他只保证一个JSON对象。支持因提供商、端点和模型而异。较低努力的配置可能使结构化响应不太可靠。模式执行可能增加延迟、令牌开销、重试、回退逻辑或特定于提供商的集成工作。即使是模式有效的响应，在语义上仍然可能不一致。 一致性是决策质量的一部分。在我的相关性实验中，我测量了最终分数是否与模型自身分布隐含的概率加权分数匹配：测试的配置一致性从14.4%到100.0%不等。我的看法是，如果你需要决策背后的结构，JEV是目前唯一一致的输出方式。当然，我认为很快前沿实验室可能会匹配接口来提供这样的结构化决策。