"Grok 4.5 在 CursorBench 上具有优势:Cursor 代码库的一个早期快照在训练中被无意包含"

Reddit r/singularity 新闻

摘要

CursorBench 显示,Grok 4.5 的高分部分是由于在训练数据中无意包含了 Cursor 代码库的早期快照。相关数据已从未来的模型中移除。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/07/09 07:51

# Cursor · CursorBench 来源:https://cursor.com/cursorbench 我们在来自真实 Cursor 会话的模糊、多文件任务上评估智能体。分数越高越好。 更多关于 CursorBench 的信息(https://cursor.com/blog/cursorbench) 一张散点折线图,比较了 Fable 5、Opus 4.8、GPT-5.5、Sonnet 5、Grok 4.5、GLM 5.2、Composer 2.5、Gemini 3.5 Flash 和 Kimi K2.7 Code 的得分与每个任务的平均成本。 75% CursorBench 3.2 得分 70% 65% 60% 55% 50% 45% $20 $16 $12 $8 $4 $0 每个任务的平均成本 Grok 4.5 高\*(https://cursor.com/cursorbench#cursorbench-grok-note) Fable 5 高 Opus 4.8 高 Sonnet 5 高 Composer 2.5 GPT-5.5 中 GLM 5.2 高 Kimi K2.7 Code Gemini 3.5 Flash | 排名 | 模型 | 得分 | 每个任务平均成本 | 总令牌数(百万) | 任务数 | |------|------|------|----------------|-----------------|--------| | 1 | Fable 5 Max | 70.5% | $17.32 | 103,525 | 72 | | 2 | Fable 5 Extra High | 68.4% | $11.73 | 64,971 | 56 | | 3 | Grok 4.5 High\*(https://cursor.com/cursorbench#cursorbench-grok-note) | 66.7% | $1.51 | 19,521 | 33 | | 4 | Fable 5 High | 66.5% | $8.77 | 43,747 | 48 | | 5 | Grok 4.5 Medium\*(https://cursor.com/cursorbench#cursorbench-grok-note) | 65.4% | $1.54 | 18,914 | 34 | | 6 | Fable 5 Medium | 65.2% | $6.80 | 30,366 | 41 | | 7 | Grok 4.5 Low\*(https://cursor.com/cursorbench#cursorbench-grok-note) | 63.5% | $1.22 | 15,841 | 31 | | 8 | Opus 4.8 Max | 62.3% | $5.77 | 71,411 | 44 | | 9 | Fable 5 Low | 62.1% | $4.46 | 18,182 | 31 | | 10 | Sonnet 5 Max | 61.5% | $6.45 | 92,882 | 86 | | 11 | Opus 4.8 Extra High | 59.4% | $4.50 | 51,121 | 40 | | 12 | Sonnet 5 Extra High | 58.7% | $4.16 | 52,871 | 67 | | 13 | GPT-5.5 High | 58.4% | $2.05 | 12,183 | 28 | | 14 | GPT-5.5 Extra High | 58.4% | $2.85 | 17,534 | 32 | | 15 | Opus 4.8 High | 58.0% | $3.15 | 33,548 | 33 | | 16 | Sonnet 5 High | 56.9% | $3.19 | 39,483 | 57 | | 17 | Opus 4.8 Medium | 56.1% | $2.81 | 28,384 | 32 | | 18 | Composer 2.5 | 56.1% | $0.44 | 14,286 | 33 | | 19 | GLM 5.2 Max | 55.0% | $1.76 | 35,946 | 58 | | 20 | GPT-5.5 Medium | 53.8% | $1.51 | 8,522 | 25 | | 21 | Opus 4.8 Low | 53.1% | $2.02 | 19,624 | 27 | | 22 | Sonnet 5 Medium | 52.4% | $2.16 | 26,200 | 46 | | 23 | GLM 5.2 High | 51.5% | $1.19 | 21,829 | 49 | | 24 | Kimi K2.7 Code | 49.7% | $1.43 | 31,247 | 58 | | 25 | Gemini 3.5 Flash | 48.8% | $2.20 | 46,702 | 77 | | 26 | Sonnet 5 Low | 47.7% | $1.30 | 16,269 | 33 | | 27 | GPT-5.5 Low | 46.6% | $0.98 | 5,168 | 20 | Grok 4.5 在 CursorBench 上具有优势:Cursor 代码库的早期快照被无意中纳入了训练。具体得分影响尚不明确。该数据已从未来模型中移除。有关第三方基准测试得分的详细信息,请参阅 Grok 4.5 发布博客(https://cursor.com/blog/grok-4-5)。 ## 更新日志 ### CursorBench 3.2 - 引入了指令遵循和高级工具使用问题。 ### CursorBench 3.1 - 引入了专注于代码库理解、缺陷查找、规划和代码审查的问题。 - 改进了某些编辑任务的评分标准。 ### CursorBench 3.0 - 初始任务集侧重于编辑、重构和缺陷修复问题。 每个任务的平均成本是通过将每个模型公布的每百万令牌定价(https://cursor.com/docs/models-and-pricing)(输入、缓存读取、缓存写入和输出)应用于其在 CursorBench 3.2 基准测试中每个任务使用的令牌,然后使用与 CursorBench 3.2 得分相同的任务权重进行平均计算得出的。结果存在方差;得分的小幅差异可能不具有统计意义。

相似文章

Grok 4.5

Hacker News Top

xAI 发布了 Grok 4.5,这是其 AI 模型的新版本,该消息在 Cursor 的博客上宣布。

CursorBench 3.1

Hacker News Top

CursorBench 3.1 引入了专注于代码库理解、缺陷查找、规划和代码审查的新基准任务,并展示了各种AI模型的更新得分和成本比较。

@elonmusk: Grok 模型改进

X AI KOLs Following

更新后的 Grok 模型 (0.5T) 更不懒惰、更自主、更准确;改进正在进行中。