@zekiworks:Celeris 在 jev-bench 上报告 80.0% 的成绩,而 Decider v1.1 为 79.0%。在我们的测试中,两个决策模型之间 1 个百分点的差距……
摘要
Celeris 声称其 Celeris-1 Decision 模型在 jev-bench 上达到 80.0%,略高于 Decider v1.1 的 79.0%;Zekiworks 指出此前测试中 1 分差距并不具备可检测性,并将用相同 2,198 道题重新测试。
查看缓存全文
缓存时间: 2026/10/10 16:56
Celeris 在 jev-bench 上报告了 80.0% 的成绩,而 Decider v1.1 为 79.0%。在我们的测试中,两个决策模型之间 1 个百分点的差距(GLiDE 67.9%,Decider v1.1 66.9%)并不构成可检测的差异。我们将在相同的 2,198 道题目上运行 Celeris-1。https://x.com/zekiworks/status/2108926449562300499…
Celeris (@Celeris_ai): Celeris-Decision 今日正式上线。
在 jev-bench 和 typed decisions 基准测试中,Celeris-1-Decision 在准确率和 Brier 分数两项指标上均超越了 Jev 1.13.0、OpenAI gpt-6-luna、Perplexity pplx-decider-v1.1-27b 以及 Inception Mercury Decide。Celeris-1-Decision 在响应速度方面也领先于该基准测试,中位数
相似文章
Show HN: JevBench,一个用于类型化决策模型的可复现基准测试
JevBench v1.3.0 是一个用于Jev类决策模型的可复现基准测试,基于智能性、校准度、速度和成本对52个系统进行评估和排名。
Nimble
Nimble-v4 和 Nimble-v4-max 作为前沿决策模型发布,在 Decision Index 公开榜单上显著超越 Jev 等对手,并在内部评测中实现更少错误和大幅提升的模型路由决策能力。
Solar Decide 与 Jev 基准对比:57.8% vs 83.3%
用户对 Solar Decide AI 模型与 Jev 进行基准测试,用于处理 Roblox 游戏中的聊天报告,发现 Solar Decide 性能显著较低且误报率更高,导致回退到 Jev。
[P] 根据 logits 为每个允许的标签评分的 Pecision 模型:Jebadiah v2.1(27B、9B),开放权重及自行运行的基准测试结果 [P]
作者发布了 Jebadiah v2.1(27B 和 9B)开源模型,将决策建模为封闭集评分问题,直接根据候选标签的 logits 输出各选项的概率,并公布了在 Decision Index 0.3 上的自测成绩、污染检查和量化一致性结果。
新的 system 1.5 模型在所有 4 个基线上都大幅超越 JEV,并且在图像 JEV 基准测试中排名第一(没错,它是多模态的)
新款模型 Wity-1 是一个推理决策模型,定位介于 Jev 这类非推理决策模型与完全推理的 LLM 之间。据称它在全部 4 项基准测试中击败了 Jev,并在 Image Jev Bench 上排名第一,同时支持多模态。它只进行"刚刚好"的推理——直到内部 LLM 概率表明答案已经得出。