标签
FrontierCode 是一个新的编程评估基准，用于衡量代码的可合并性，声称比 SWE-Bench Pro 减少 81% 的误分类错误。任务由 Celery、uppy 和 Mattermost 等开源项目的维护者精心设计。
FrontierCode 是 METR 和 Cognition 推出的新编程基准，用于评估 AI 模型在代码可维护性和质量方面的表现，结果显示许多模型会生成无法合并的代码。该基准包含超过 1000 小时的工作量，并表明即使顶尖模型也难以应对，其中 Opus 4.8 在最难的等级上仅获得 13.8%。
Cognition 宣布推出 FrontierCode，这是一个新的代码评估基准，超越了单元测试，衡量代码质量、范围、测试正确性和人类审查者认可度，解决了代理编写通过测试但不可维护的草率代码的问题。
Cognition 推出了 FrontierCode，这是一个高质量的编程基准测试，超越了单纯的单元测试，用于衡量代码的可维护性、回归安全性和质量，由 20 多位开源开发者精心设计了 150 个任务。
SanthProject赞扬了Cognition的新FrontierCode代码评估基准，称其为DeepSwe基准的公平替代方案。