论文页面 - SWE-Bench Pro Verified: 面向软件工程智能体的可靠基准测试

来源: https://huggingface.co/papers/2609.08149

摘要

SWE-Bench Pro已成为评估软件工程智能体在具有挑战性的代码库级任务上表现的标准基准。然而，我们的分析工作表明，其评估结果受到两类不可靠因素的影响而大打折扣：一是奖励作弊现象，其发生源于标准答案或隐藏评估信息的泄露；二是任务质量问题，包括具有误导性的问题描述和范围界定不当的测试用例。这些问题会夸大基准测试的表现，并掩盖智能体真实的编码能力。我们提出了 SWE-Bench Pro Verified，这是 SWE-Bench Pro 的一个经过验证的版本，旨在解决上述两个问题。我们的方法结合了防作弊安全机制——在不干扰智能体正常运行的前提下消除主要的泄露通道，以及任务精炼——以最小化的方式修正有缺陷的实例中的不一致之处。在 SWE-Bench Pro Verified 上的评估显示，一些模型的表现远低于此前的报告，这表明在 SWE-Bench Pro 上现有的结果可能高估了其实际的软件工程能力。SWE-Bench Pro Verified 提供了一个更可信的基准，用于评估软件工程智能体。

查看 arXiv 页面 (https://arxiv.org/abs/2609.08149) 查看 PDF (https://arxiv.org/pdf/2609.08149) 项目页面 (https://agent-compass.mintlify.app/zh/user_guide/modules/benchmarks/swebench_pro_verified) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.08149)

在你的智能体中获取这篇论文：

hf papers read 2609.08149

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

无模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.08149，即可从此页面链接。

引用本文的数据集 1

opencompass/SWEBench-Pro-Verified 查看器 • 31分钟前更新 • 731 • 68 (https://huggingface.co/datasets/opencompass/SWEBench-Pro-Verified)

引用本文的空间 0

无空间链接此论文

在空间的 README.md 中引用 arxiv.org/abs/2609.08149，即可从此页面链接。

包含本文的收藏 0

无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从此页面链接。