@danshipper：Muse Wonder 在我们的高级工程师基准测试中表现令人失望。该测试要求模型重写一段凭感觉编程出来的垃圾代码……

X AI KOLs Following 新闻
benchmark ai-models coding engineering evaluation

摘要

Dan Shipper 指出，Muse Wonder 在高级工程师基准测试（测试从零重写通过氛围编程生成的代码仓库的能力）中仅取得了令人失望的 52% 成绩，远落后于 GPT-Sol 6.1 的 71%。

Muse Wonder 在我们的高级工程师基准测试中表现令人失望。 这项测试要求模型从零重写一个凭感觉编写的粗制滥造的代码库——这能很好地衡量它在实际工程中的实用性 Muse Wonder 得分为 52%——远远落后于得分 71% 的 GPT-Sol 6.1 https://checks.every.to/p/senior-engineer-benchmark…
查看原文
查看缓存全文

缓存时间: 2026/10/13 11:43

Muse Wonder 在我们的高级工程师基准测试中表现令人失望。

这项测试要求模型从头重写一个靠氛围编程堆出来的垃圾代码库——很适合衡量它在实际工程工作中的实用性

Muse Wonder 得分 52%——远远落后于得分 71% 的 GPT-Sol 6.1 https://checks.every.to/p/senior-engineer-benchmark…

高级工程师基准测试

来源：https://checks.every.to/p/senior-engineer-benchmark 高级工程师基准测试是一个人设计的基准测试：测试内容是其使用 AI 完成的实际工作，评分依据是其判断输出是否合格时检查的事项。它回答的是“对于我在意的事情，哪个模型最擅长完成我的工作”，而不是对模型质量作出普遍判断。

每个模型占一行，每个案例按其最近一次公开运行的结果评分。每个分数下方都有一条进度条，实色部分表示通过的检查所占比例，斜线阴影部分表示其余部分；每列的最高分以粗体显示。

一次运行的结果表示为通过的检查数除以适用的检查数。代码检查由程序完成，模型检查由 LLM 评审完成，评审始终使用 Claude。案例的得分取自最近一次运行，任务得分是其各案例得分的平均值，总体得分则是所有任务得分的平均值。总体得分的进度条长度对应模型实际运行的任务比例，轨道的其余部分留空。打开一个单元格，即可查看实际输出，以及它通过和未通过的检查。

JSON 数据源 (https://checks.every.to/p/senior-engineer-benchmark/feed)

相似文章