@dabit3:FrontierCode 衡量的是“维护者会合并这个 PR 吗?”本质上就是智能 + 对代码库的熟悉程度 + 判断力,这……
摘要
Cognition 推出 FrontierCode 2.0,这是一项编程基准测试,用于评估模型提交的拉取请求是否真的会被维护者合并——考察的不仅是满足规格要求的能力,还包括智能水平、对代码库的熟悉程度和判断力。
查看缓存全文
缓存时间: 2026/10/29 05:48
FrontierCode 衡量的是“维护者会合并这个 PR 吗?”
本质上是智能 + 对代码库的熟悉程度 + 判断力,这才是所有工程师真正想要的,而不只是大多数基准测试所考察的纯粹智能。
Cognition (@cognition): 推出 FrontierCode 2.0:我们的全新编程基准测试,衡量模型超越规格要求的能力。
大多数编程评测衡量的是模型编写符合规格要求的代码的能力。在 FrontierCode 1.0 中,我们提出了一个新问题:你真的会合并这个 PR 吗?
相似文章
@dabit3: FrontierCode 是第一个评估衡量真实软件工程中最重要指标的评测:你是否真的会…
FrontierCode 是一个新的编程评估基准,用于衡量代码的可合并性,声称比 SWE-Bench Pro 减少 81% 的误分类错误。任务由 Celery、uppy 和 Mattermost 等开源项目的维护者精心设计。
@cognition:FrontierCode 1.1 现已上线 @ArtificialAnlys!FrontierCode 与开源项目维护者共同打造,是首个……的基准测试
FrontierCode 1.1 现已上线 Artificial Analysis;它与开源项目维护者共同打造,是首个衡量端到端代码质量与可合并性的基准——即维护者是否真的会合并该 PR。
@denizbirlikci: 要理解我们为什么构建 FrontierCode,请阅读 @METR_Evals 的博客文章,了解为什么"许多通过 SWE-bench 的 PR 不会被合并到主分支……"
Cognition 宣布推出 FrontierCode,这是一个新的代码评估基准,超越了单元测试,衡量代码质量、范围、测试正确性和人类审查者认可度,解决了代理编写通过测试但不可维护的草率代码的问题。
FrontierCode
FrontierCode是Cognition AI推出的新基准测试,通过评估合并性(mergeability)来衡量AI模型编写高质量、可维护代码的能力。结果显示,即使是Claude Opus 4.8等顶级模型,在最难子集上的得分也仅为13.4%,这突显了代码质量方面存在的显著差距。
FrontierCode: 一项提高难度和质量标准的编码评估。
FrontierCode 是一个新的编码评估基准,旨在提高 AI 代码生成的难度和质量标准。