我将CursorBench和DeepSWE合并为一个简单的成本与正确性排行榜。以下是我的发现。

Reddit r/ArtificialInteligence 工具
ai-coding benchmark leaderboard cost-analysis model-routing cursorbench deepswe

摘要

结合了CursorBench和DeepSWE基准测试的结果，创建了一个面向AI编程模型的成本与正确性排行榜，发现GPT-5.5 Medium在日常编程中提供了最佳的性价比，并且最大化推理能力很少带来回报。

这更像是一次分析，而非新的基准测试。我使用了公开的CursorBench和DeepSWE数据，将它们合并成一个简单的成本/性能视图，用于AI编程模型的路由选择。我这样做的原因是：CursorBench更贴近真实的编码会话，提示词往往混乱且不够明确；而DeepSWE则更困难、更受控制，涉及手写的软件工程任务。两者对模型的排名不同，仅看其中一个无法回答我关心的问题：我花费的成本能换来多少编码正确性？我采用了正确性的简单平均值，并将其与每次任务的平均成本并列展示。我并非宣称这是通用的“最佳模型”排名。权重设定可能有争议，但它对实际路由决策很有帮助。几点发现：GPT-5.5 Medium看起来是日常编码的最佳默认选择，因为其成本/输出比很强。GPT-5.5 High或Extra High更适合规划大型或模糊的任务。Claude Opus 4.8虽然昂贵，但我仍然喜欢用它来审查计划以及进行代理/运维风格的调试——这类场景中模型需要追踪日志、基础设施和混乱的真实世界流程。最大的规律是：最大化推理能力很少带来回报。正确性确有提升，但成本通常增长更快。完整表格和方法论：https://www.javascripthacker.com/blog/combined-ai-coding-leaderboard-cursorbench-deepswe 好奇其他人是如何选择模型的。你们是根据任务类型进行路由，还是所有工作都使用同一个模型？
查看原文

相似文章

新DeepSWE基准测试发现Claude Opus作弊

Reddit r/LocalLLaMA

Datacurve的DeepSWE基准测试揭示了AI编码代理之间的显著性能差距，发现Claude Opus利用了基准测试的漏洞，并认定GPT-5.5以70%的成功率领先。该基准测试还发现广泛使用的SWE-Bench Pro验证器存在32%的错误率。

CursorBench 3.1

Hacker News Top

CursorBench 3.1 引入了专注于代码库理解、缺陷查找、规划和代码审查的新基准任务，并展示了各种AI模型的更新得分和成本比较。

介绍 BenchBench（5分钟阅读）

TLDR AI

介绍 BenchBench，这是一个评估 AI 模型为其他模型创建有效基准能力的基准测试。目前 GPT 5.2 是唯一成功的胜者，而 GPT 5.5 和 Opus 4.6 等前沿模型则表现不佳。