@zekiworks:Celeris 在 jev-bench 上报告 80.0% 的成绩,而 Decider v1.1 为 79.0%。在我们的测试中,两个决策模型之间 1 个百分点的差距……

X AI KOLs Timeline 新闻

摘要

Celeris 声称其 Celeris-1 Decision 模型在 jev-bench 上达到 80.0%,略高于 Decider v1.1 的 79.0%;Zekiworks 指出此前测试中 1 分差距并不具备可检测性,并将用相同 2,198 道题重新测试。

Celeris 在 jev-bench 上报告 80.0% 的成绩,而 Decider v1.1 为 79.0%。在我们的测试中,两个决策模型之间 1 个百分点的差距(GLiDE 67.9%,Decider v1.1 66.9%)并不构成可检测的差异。我们将用相同的 2,198 道题对 Celeris-1 进行测试。https://x.com/zekiworks/status/2108926449562300499…
查看原文
查看缓存全文

缓存时间: 2026/10/10 16:56

Celeris 在 jev-bench 上报告了 80.0% 的成绩,而 Decider v1.1 为 79.0%。在我们的测试中,两个决策模型之间 1 个百分点的差距(GLiDE 67.9%,Decider v1.1 66.9%)并不构成可检测的差异。我们将在相同的 2,198 道题目上运行 Celeris-1。https://x.com/zekiworks/status/2108926449562300499…

Celeris (@Celeris_ai): Celeris-Decision 今日正式上线。

在 jev-bench 和 typed decisions 基准测试中,Celeris-1-Decision 在准确率和 Brier 分数两项指标上均超越了 Jev 1.13.0、OpenAI gpt-6-luna、Perplexity pplx-decider-v1.1-27b 以及 Inception Mercury Decide。Celeris-1-Decision 在响应速度方面也领先于该基准测试,中位数

相似文章

Nimble

Product Hunt

Nimble-v4 和 Nimble-v4-max 作为前沿决策模型发布,在 Decision Index 公开榜单上显著超越 Jev 等对手,并在内部评测中实现更少错误和大幅提升的模型路由决策能力。

Solar Decide 与 Jev 基准对比:57.8% vs 83.3%

Reddit r/ArtificialInteligence

用户对 Solar Decide AI 模型与 Jev 进行基准测试,用于处理 Roblox 游戏中的聊天报告,发现 Solar Decide 性能显著较低且误报率更高,导致回退到 Jev。

新的 system 1.5 模型在所有 4 个基线上都大幅超越 JEV,并且在图像 JEV 基准测试中排名第一(没错,它是多模态的)

Reddit r/artificial

新款模型 Wity-1 是一个推理决策模型,定位介于 Jev 这类非推理决策模型与完全推理的 LLM 之间。据称它在全部 4 项基准测试中击败了 Jev,并在 Image Jev Bench 上排名第一,同时支持多模态。它只进行"刚刚好"的推理——直到内部 LLM 概率表明答案已经得出。