swe-bench-pro

OpenAI 对编码基准 SWE-Bench Pro 进行了审计，发现约 30% 的任务因测试过于严格和提示不够明确等问题而存在缺陷，建议模型开发者仔细检查结果。