@ArizePhoenix:在Terminal-Bench 4.0上达到55.8%(较Fable 5的42.0%提升),在Terminal-Bench-Science上达到52.6%(较24.7%提升),在…达到65.0%
摘要
ArizePhoenix在Terminal-Bench 4.0和Humanity's Last Exam等基准测试中表现出显著的性能提升,较之前的版本如Fable 5有显著进步。
- 在Terminal-Bench 4.0上达到55.8%(较Fable 5的42.0%提升)
- 在Terminal-Bench-Science上达到52.6%(较24.7%提升)
- 在Humanity's Last Exam上借助工具达到65.0%
查看缓存全文
缓存时间: 2026/09/02 01:49
- 在 Terminal-Bench 4.0 上达到 55.8%(从 Fable 5 的 42.0% 提升)
- 在 Terminal-Bench-Science 上达到 52.6%(从 24.7% 提升)
- 使用工具在 Humanity’s Last Exam 上达到 65.0%。
相似文章
@ArizePhoenix: 结果:在内部Code Bench上相比5.2提升了50%,Terminal-Bench 3.0从4.6提升到28.3,DeepSWE v1.1 从…
DeepSWE v1.1在内部Code Bench上提升了50%,并在Terminal-Bench 3.0和Agents' Last Exam上取得了新的SOTA成绩,同时新兴的网络能力发展超出预期。
Fable 5 的 ProgramBench 结果已出,性能是 Opus 4.8 的两倍,即使 99% 的运行回退到 4.8
ProgramBench 结果显示,Fable 5 的性能是 Opus 4.8 的两倍,即使在 99% 的运行中回退到 4.8。
Terminal Bench 4.0 刚刚发布,GLM-5.3 与 Fable 5 处于同一水平,考虑到误差范围
Terminal Bench 4.0 已经发布,比较了 GLM-5.3 和 Fable 5 等 AI 模型,重点在于快速迭代以应对基准饱和,并引发了关于评估编码代理的经济高效替代方案的问题。
Fable 5 在 Livebench 上甚至低于 Gemini 3.1
讨论 LiveBench 结果显示 Fable 5 表现低于 Gemini 3.1,质疑是该基准测试有缺陷,还是 Anthropic 在针对基准测试进行优化(benchmaxing)。
@FinanceYF5: 有第三方测试说,回归的Fable 5跟六月发布时不是一个水平了。 BridgeMind用BridgeBench重测7月1日版本:【Debugging】86.2→25.9,【Refactoring】73.6→38.4,【Hallucinat…
第三方测试显示回归后的Fable 5模型在BridgeBench基准测试中性能大幅下降,Debugging得分从86.2降至25.9,Refactoring从73.6降至38.4,Hallucination从75.9降至61.7,推测是新增安全护栏导致许多任务转由Opus 4.8代打。