最强的 AI 能通过 37% 的真实工程任务。大多数人一项也通不过

Xplore 今天发布了 RWE-bench，包含 20 项机械、电气和航空航天工程任务，均由以此为业的工程师编写。其中一项是设计能承受每分钟 2,400 转的柴油机曲轴，一项是在真实的 FPGA 开发板上为 DDR3 内存总线布线，还有一项是对涡轮导向叶片进行计算流体力学（CFD）分析。结果不由任何模型评分，而是由程序逐项检查每个设计是否满足所有要求，并在必要时运行物理求解器。GPT-6 Astra 以 37% 的通过率领先，Opus 5.5 约为 29%，GPT-6.1 Sol 约为 25%，后者每次运行的费用为 10 美元。Astra 和 Opus 每次运行的费用约为其六倍，通过率则分别高出 12 和 4 个百分点。37% 听起来很低，直到你开始想：换成人来做会怎样？随便从街上找个人，给他同样的任务和工具，他一项也通不过，因为光是用 CAD 画出零件、运行仿真这一关就过不去。一个工程专业毕业生，花上一个月，或许能完成自己专业领域里的一两项。专业工程师能通过自己领域内的那些任务，大约占总数的三分之一，每项大致需要一周。而模型每次运行只需几个小时，就能完成这三个领域中的部分任务。人类需要花多少时间、能完成哪些任务，都是我自己的粗略估计，Xplore 没有公布人类的成绩。（不过我觉得他们下次应该公布！）代码能力之所以进步得快，是因为答案可以验证，而大多数实体工程的反馈周期都比代码长得多。还有很多工作要做，但现在这些工作有了计分板，而据我所见，这正是促成下一次飞跃的关键。我写了一篇文章，介绍这些任务、与人类的比较，以及为什么我认为评分方式比谁排在榜首更重要：https://www.anchorterminal.com/blog/rwe-bench-engineering