@OpenAI: 随着编码模型的改进，评估需要变得更严格、更公平、更可信。更好的基准有助于领域了…

X AI KOLs 2026/07/08 21:41 新闻

ai-evaluation code-generation benchmarks openai

摘要

OpenAI 强调编码AI模型评估需要更严格、更可信，以更好地衡量实际进展。

随着编码模型的改进，评估需要变得更严格、更公平、更可信。更好的基准有助于领域了解实际进展以及前沿的移动方向。

查看原文

查看缓存全文

缓存时间: 2026/07/09 07:43

随着编码模型的改进，评估需要变得更难、更公平、更可信。更好的基准测试有助于该领域理解真正的进展以及前沿的动向。

相似文章

X AI KOLs

OpenAI讨论了评估（evals）的重要性，用于衡量和预测模型进展，尤其是在基准测试变得饱和或被操纵的情况下，并邀请了Tejal Patwardhan和Andrew Mayne分享见解。

arXiv cs.LG

该论文批评了依赖如SWE-bench等有限的编码基准测试来衡量AI模型的通用编码能力的做法，表明针对这些基准测试的优化无法泛化，并倡导多样化的评估方法。

X AI KOLs

OpenAI提醒开发者，评估结果取决于API设置和测试框架设计，建议使用Responses API、保留推理过程以及启用压缩以获得最佳性能。

X AI KOLs

OpenAI审计了SWE-Bench Pro编码基准，发现约30%的任务存在故障，因此撤回了此前将其作为主要编码评估的建议。

Hacker News Top

OpenAI 对编码基准 SWE-Bench Pro 进行了审计，发现约 30% 的任务因测试过于严格和提示不够明确等问题而存在缺陷，建议模型开发者仔细检查结果。