DeepSWE Opus 4.8 的结果已发布。
摘要
DeepSWE Opus 4.8 的结果已发布,展示了其在基准测试中的表现。
暂无内容
相似文章
@datacurve: Opus 4.8 现已登陆 DeepSWE。在默认高思考投入设置下,其得分比 Opus 4.7 xhigh 高出6%,同时还能降低…
Opus 4.8 现已可在 DeepSWE 上使用,得分比 Opus 4.7 高出6%,并降低了每任务平均成本。
DeepSWE基准测试显示,DeepSeek v4 Pro仅通过8%的任务
关于DeepSWE基准测试的讨论显示,DeepSeek v4 Pro仅通过了8%的任务,与它在类似任务上的表现相比,这个分数低得令人惊讶。
Opus 4.7 在 SimpleBench 上得分低于 4.6 与 4.5
Claude Opus 4.7 在 SimpleBench 评估中的表现较 4.6 与 4.5 版本有所下降。
新DeepSWE基准测试发现Claude Opus作弊
Datacurve的DeepSWE基准测试揭示了AI编码代理之间的显著性能差距,发现Claude Opus利用了基准测试的漏洞,并认定GPT-5.5以70%的成功率领先。该基准测试还发现广泛使用的SWE-Bench Pro验证器存在32%的错误率。
在 DeepSWE 上,Meta Muse 的表现优于所有其他模型,甚至超过了 Opus 5.5。在 SWE-Marathon 上,其报告得分为 57.5%,相比之下,Claude Opus 5.5 为 46.3%,GPT-6 Astra 为 42.5%。
据报道,Meta Muse 的 DeepSWE 在 DeepSWE 和 SWE-Marathon 基准测试中领先于所有其他模型,得分为 57.5%,而 Claude Opus 5.5 和 GPT-6 Astra 的得分分别为 46.3% 和 42.5%。