@OpenAI: 随着编码模型的改进，评估需要变得更严格、更公平、更可信。更好的基准有助于领域了…
摘要
OpenAI 强调编码AI模型评估需要更严格、更可信，以更好地衡量实际进展。
随着编码模型的改进，评估需要变得更严格、更公平、更可信。
更好的基准有助于领域了解实际进展以及前沿的移动方向。
查看缓存全文
缓存时间: 2026/07/09 07:43
随着编码模型的改进，评估需要变得更难、更公平、更可信。更好的基准测试有助于该领域理解真正的进展以及前沿的动向。
相似文章
@OpenAI: 我们来聊聊评估。我们一直在寻找更好的方法来衡量和预测模型的进展，尤其是在基准测试...
OpenAI讨论了评估（evals）的重要性，用于衡量和预测模型进展，尤其是在基准测试变得饱和或被操纵的情况下，并邀请了Tejal Patwardhan和Andrew Mayne分享见解。
@OpenAI: 我们审计了SWE-Bench Pro，这是最广泛使用的AI编程基准之一，发现它已无法可靠地衡量前沿…
OpenAI审计了SWE-Bench Pro编码基准，发现约30%的任务存在故障，因此撤回了此前将其作为主要编码评估的建议。
在编码评估中分离信号与噪声
OpenAI 对编码基准 SWE-Bench Pro 进行了审计，发现约 30% 的任务因测试过于严格和提示不够明确等问题而存在缺陷，建议模型开发者仔细检查结果。
值得信赖的第三方评估共享手册
OpenAI分享了关于设计值得信赖的前沿模型第三方评估的经验教训和推荐方法，强调了评估框架和有效性检查的关键作用。
AI基准测试不如模型能否处理乏味的现实责任重要
文章认为，AI基准测试和华丽的演示被过度强调了；真正考验AI可信度的是模型如何处理乏味的现实责任，如遵循指令、承认不确定性、处理边缘情况以及可审计性。