标签
一份公共服务公告建议对 Opus 5 AI 模型使用中等思考努力,该模型在 FrontierCode 基准测试中排名第二,比 xhigh 努力设置具有更好的成本效率。
Cognition 更新了 FrontierCode 1.1,新增了 GPT-5.6 Terra 和 GPT-5.6 Luna 的折扣,使 GPT-5.6 系列位于性价比的帕累托曲线上。
开源AI模型Kimi K3现已在Devin Desktop和Devin CLI中可用,在FrontierCode 1.1上接近前沿性能。
FrontierCode 是一个新的编程评估基准,用于衡量代码的可合并性,声称比 SWE-Bench Pro 减少 81% 的误分类错误。任务由 Celery、uppy 和 Mattermost 等开源项目的维护者精心设计。
FrontierCode 是 METR 和 Cognition 推出的新编程基准,用于评估 AI 模型在代码可维护性和质量方面的表现,结果显示许多模型会生成无法合并的代码。该基准包含超过 1000 小时的工作量,并表明即使顶尖模型也难以应对,其中 Opus 4.8 在最难的等级上仅获得 13.8%。
Cognition 宣布推出 FrontierCode,这是一个新的代码评估基准,超越了单元测试,衡量代码质量、范围、测试正确性和人类审查者认可度,解决了代理编写通过测试但不可维护的草率代码的问题。
Cognition 推出了 FrontierCode,这是一个高质量的编程基准测试,超越了单纯的单元测试,用于衡量代码的可维护性、回归安全性和质量,由 20 多位开源开发者精心设计了 150 个任务。
SanthProject赞扬了Cognition的新FrontierCode代码评估基准,称其为DeepSwe基准的公平替代方案。