@OpenAI: 为了审计SWE-Bench Pro，我们使用了基于模型的调查代理以及来自五位独立专家的独立评审…
摘要
OpenAI 描述了对 SWE-Bench Pro 的审计过程，使用了基于模型的调查代理和来自经验丰富的软件工程师的独立评审，以确保在大规模下的全面评估。
查看缓存全文
缓存时间: 2026/07/09 07:43
为了审计SWE-Bench Pro，我们采用了基于模型的调查代理，并辅以五位独立且经验丰富的软件工程师的独立评审。这帮助我们在大规模检查任务的同时，始终以专家判断为核心。https://t.co/3PNbk57uvF
相似文章
@OpenAI: 我们审计了SWE-Bench Pro，这是最广泛使用的AI编程基准之一，发现它已无法可靠地衡量前沿…
OpenAI审计了SWE-Bench Pro编码基准，发现约30%的任务存在故障，因此撤回了此前将其作为主要编码评估的建议。
SWE-Bench Pro Verified：一个可靠的软件工程代理基准测试
SWE-Bench Pro Verified 通过消除奖励黑客攻击和改善任务质量，解决了 SWE-Bench Pro 基准测试中的可靠性问题，为软件工程代理提供了更准确的评估。
介绍 SWE-bench Verified
# 介绍 SWE-bench Verified 来源: [https://openai.com/index/introducing-swe-bench-verified/](https://openai.com/index/introducing-swe-bench-verified/) 我们发布了 SWE-bench 的人工验证子集，能更可靠地评估 AI 模型解决实际软件问题的能力。*更新于 2025 年 2 月 24 日* 作为我们[准备框架](https://openai.com/preparedness/)的一部分，OpenAI 开发了一系列指标来追踪、评估和预测模型的自主行动能力
SWE-Bench Pro V2（阅读时间9分钟）
SWE-Bench Pro V2是一个更新的基准测试，用于在软件工程中评估AI代理，包含来自11个代码库的642个任务，具有改进的评估协议和污染控制。
有人对新DeepSWE进行了审计，结果不太好看
DeepSWE是一个新的基准测试，用于评估AI编程代理在来自活跃开源仓库的真实软件工程任务上的表现，包含113个任务，涵盖TypeScript、Go、Python、JavaScript和Rust，提供隔离环境和基于程序的验证器。