frontiercode

Cognition 推出 FrontierCode 2.0，这是一项编程基准测试，用于评估模型提交的拉取请求是否真的会被维护者合并——考察的不仅是满足规格要求的能力，还包括智能水平、对代码库的熟悉程度和判断力。

Cognition 发布 FrontierCode 2.0 编码基准，采用更广泛的仓库覆盖、更严格的可合并性标准和更大的任务规模，结果显示顶级模型 Claude Opus 5.5 也仅得 45.5%，表明智能体软件工程远未被解决。

GPT-6 Sol 和 Luna 模型现已可在 Devin 中使用，其中 GPT-6 Sol 在成本降低61%的情况下达到与 GPT-5.6 Sol 相同的性能，而 GPT-6 Luna 以大约四分之一的成本表现更优。

一份公共服务公告建议对 Opus 5 AI 模型使用中等思考努力，该模型在 FrontierCode 基准测试中排名第二，比 xhigh 努力设置具有更好的成本效率。

Cognition 更新了 FrontierCode 1.1，新增了 GPT-5.6 Terra 和 GPT-5.6 Luna 的折扣，使 GPT-5.6 系列位于性价比的帕累托曲线上。

开源AI模型Kimi K3现已在Devin Desktop和Devin CLI中可用，在FrontierCode 1.1上接近前沿性能。

FrontierCode 是一个新的编程评估基准，用于衡量代码的可合并性，声称比 SWE-Bench Pro 减少 81% 的误分类错误。任务由 Celery、uppy 和 Mattermost 等开源项目的维护者精心设计。

FrontierCode 是 METR 和 Cognition 推出的新编程基准，用于评估 AI 模型在代码可维护性和质量方面的表现，结果显示许多模型会生成无法合并的代码。该基准包含超过 1000 小时的工作量，并表明即使顶尖模型也难以应对，其中 Opus 4.8 在最难的等级上仅获得 13.8%。

Cognition 宣布推出 FrontierCode，这是一个新的代码评估基准，超越了单元测试，衡量代码质量、范围、测试正确性和人类审查者认可度，解决了代理编写通过测试但不可维护的草率代码的问题。

Cognition 推出了 FrontierCode，这是一个高质量的编程基准测试，超越了单纯的单元测试，用于衡量代码的可维护性、回归安全性和质量，由 20 多位开源开发者精心设计了 150 个任务。

SanthProject赞扬了Cognition的新FrontierCode代码评估基准，称其为DeepSwe基准的公平替代方案。