SWE-Bench Pro V2（阅读时间9分钟）

# SWE-Bench Pro V2 来源：https://labs.scale.com/leaderboard/swe_bench_pro_public_v2 **更新于2026年9月22日** 我们正式发布**SWE-Bench Pro V2**，这是一个经过改进的公共评估集，包含修订后的基准测试和锁定的评估协议，与**Reflection**共同开发。 - **包含来自11个代码库的642项任务**，较此前的731项有所精简。我们移除了经审查发现无效的89项任务。 - **69项任务的指令与其评分测试存在矛盾**。我们仅修正了文本内容，并让专家仅凭指令进行盲测解答。 - **智能体现在仅能访问模型端点**，网络工具已被禁用。在早期开放网络测试中，642条执行轨迹中有32条访问了代码托管平台，4条检索了修复提交的SHA值。 - **所有智能体差异均在纯净镜像上重新评估**，并公布两次评分结果。此机制发现了Opus 5在3项任务中伪造Go模块校验和至`go.sum`文件，以及Inkling编辑Go模块缓存的行为。 - **发布前实施双向验证机制**：每个任务必须通过参考补丁验证且空补丁验证失败。该机制发现了我们自身的回归问题——一个Jest解析器修复悄无声息地破坏了23个element-web任务。 - **211项任务**增强了开源测试框架的依赖支持，另有10项修复了验证器所需的环境配置。 - **两项遗留问题仍待解决**。模型端点采用受信任中继机制，补丁内的代码（`conftest.py`、`go.mod`替换项、Makefile目标）仍由验证器执行。 探针脚本、重评估智能体、两种模式的单任务评分及执行轨迹将随本版本发布。 ## SWE-Bench Pro SWE-Bench Pro 是一个旨在为软件工程AI智能体提供严格且真实评估的基准测试。它通过解决四个关键挑战，弥补了现有基准测试的局限性： 1. **数据污染**：模型在训练期间可能已接触评估代码，难以判断其解决问题能力源于真实推理还是记忆回溯。 2. **任务多样性不足**：多数基准测试未能涵盖真实软件挑战的全貌，仅聚焦于简单工具库。 3. **问题过度简化**：模糊或定义不明确的问题常被移除，这不符合开发者实际工作流程。 4. **测试不可靠且难复现**：环境配置不一致导致难以区分解决方案本身的有效性与环境配置问题。 SWE-Bench Pro 通过从多样化复杂代码库中提取任务填补这些空白，涵盖消费级应用、B2B服务及开发工具。为降低污染风险，公共集和保留集采用强著开放许可（如GPL），私有集则来自初创合作伙伴的专有代码库。 该基准测试的难度显著高于前代产品：顶级模型在SWE-Bench Pro公共集上的得分约为23%，而在SWE-Bench Verified上可达70%以上。这为评估智能体在接近专业软件开发环境中的真实问题解决能力提供了更准确的度量标准。 资源链接： - 阅读论文 (https://scale.com/research/swe_bench_pro) - 查看GitHub仓库 (https://github.com/scaleapi/SWE-bench_Pro-os) - 查看执行轨迹 (https://docent.transluce.org/dashboard/032fb63d-4992-4bfc-911d-3b7dafcb931f) ## 方法论 SWE-Bench Pro 中的每个问题通过四阶段工作流创建： 1. **任务选取**：从精选的公共与私有代码库中选择仓库 2. **环境构建**：专业工程师构建可复现的Docker环境，集成所有依赖项和构建工具，确保代码库和测试开箱即用 3. **问题提取**：通过提交记录挖掘获取问题。保留的连续提交对需满足：(a) 修复缺陷或引入新功能；(b) 新测试呈现从失败到通过的转变；(c) 包含从通过到通过的测试以确保无关功能完整性 4. **增强标注**：人类专家将非结构化的提交与问题元数据整理为两类文档：问题陈述和包含可选接口的需求简报。这些材料提供足够上下文以复现黄金补丁，但不限制具体实现方案。我们设置三个人机协作节点：(1) 手动环境构建，(2) 人类增强的问题描述、需求与接口标注，(3) 人类验证测试（相关性与稳定性） ## 核心指标：解决率 主要评估指标为解决率，即智能体成功解决任务的比例。任务仅在以下情况被标记为"已解决"： - **问题解决**：补丁必须修复特定缺陷或实现新功能。通过验证原先失败的"失败到通过"测试现在全部通过。 - **无回归**：补丁不得破坏任何现有功能。通过验证所有预先存在的"通过到通过"测试在补丁应用后仍持续通过。 ## 数据集设计原则 数据集遵循四项基本原则： - **防污染设计**：基准测试基于GPL风格著开放仓库和专有代码库构建，通过法律与访问壁垒降低污染可能性。此许可模型使代码极不可能包含在专有训练语料中，减少数据泄露风险并强制实现真实泛化。 - **多元化工业相关任务**：问题源自面向消费者的应用、B2B平台和开发工具，需要跨架构与开发模式的推理能力。 - **均衡且高难度的构建**：每个代码库贡献50-100+个问题，参考解决方案需中等至大规模修改（平均修改107.4行代码，涉及4.1个文件）。这防止了过拟合并确保问题解决的非平凡性。 - **人类增强的问题规范**：不丢弃定义模糊的问题，而是由人类专家优化补充上下文、明确需求。既保持原始技术挑战性，又确保可解决性。 ## 数据集概览 SWE-Bench Pro 是一个大规模基准测试，包含来自41个专业代码库的1865项任务，分为三个子集： - **公共集**：包含731个实例，作为主要公共基准测试。数据源专一来自采用GPL等强著开放许可的开源仓库。此许可策略形成法律威慑，防止代码被纳入模型训练数据，实现基准测试的先天抗污染设计。该数据集性能在公共排行榜公示。 - **私有集**：开创性地收录了来自18个初创公司专有代码库的276个实例。这些代码库通过合作获取，不对外公开。该子集旨在终极测试智能体在非公开、工业级复杂代码上的泛化能力，此类代码极不可能出现在训练数据中。该数据集评估结果在独立排行榜公布。 - **保留集**：规模最大的子集，包含858个实例。与公共集类似，源自另一组采用著开放许可的公共代码库。该数据集完全保留用于未来分析和内部评估，因此其结果不会在公共排行榜发布。 ## 数据分布特征 SWE-Bench Pro 的公共集分布如下： - 代码修改行数：平均107.4行，中位数55.0行（对数坐标轴分箱） - 任务来源分布：公共集中各源仓库的任务分布 - 修改文件数量：每个任务修改的文件数 - 问题类别：涵盖缺陷修复、功能请求、优化、安全更新、界面体验改进等类型的分布 ## 评估结果：SWE-Bench Verified vs SWE-Bench Pro 我们使用SWE-Agent框架在Pro基准上测试前沿模型，结果如下（所有图表反映公共集数据）： **SWE-Bench Pro上的性能断崖式下降**：主要发现是所有模型从SWE-Bench Verified迁移至更具挑战性的SWE-Bench Pro时性能显著下降。顶级模型在Verified版本得分超70%，而在Pro版本最佳表现模型——OpenAI GPT-5与Claude Opus 4.1仅获23.3%和23.1%。这凸显了新基准测试的难度提升与真实性。 **私有子集更具挑战性**：SWE-Bench Pro排行榜的私有子集显示性能进一步下降。Claude Opus 4.1解决率从22.7%降至17.8%，OpenAI GPT-5从23.1%降至14.9%。这表明在非公开、未见代码库上的评估能更真实反映泛化能力。 **模型间性能差异显著**：测试AI模型间存在巨大性能差距。前沿模型大幅超越GPT-4o（4.9%）和Qwen-3 32B（3.4%）等旧模型，说明最新模型的高级能力对处理复杂真实世界软件工程任务至关重要。 **性能因编程语言而异**：不同语言任务成功率存在差异。Go和Python任务解决率普遍较高，部分模型超30%；JavaScript/TypeScript任务表现则波动更大，解决率从近0%到超30%不等。 **仓库特异性难度**：任务来源仓库显著影响模型性能。部分仓库对所有模型均保持高难度，解决率低于10%；另一些仓库则有模型实现超50%的成功率，表明代码库复杂度、问题类型或文档质量等因素显著影响智能体表现。 **顶级模型稳定性更强**：Claude Opus 4.1和OpenAI GPT-5不仅得分最高，还在不同语言和仓库间表现更稳定。较小模型往往表现起伏更大，在某些仓库中等表现，在其他仓库几乎完全失败，说明顶级模型具备更鲁棒且可泛化的问题解决能力——这是平均分无法完全体现的特质。 **复杂性提升导致性能下降**：随着解决方案需要修改更多行数和文件，模型性能显著降低。