推介 SWE-Lancer 基准测试

# 介绍 SWE-Lancer 基准 来源：https://openai.com/index/swe-lancer/ 我们介绍 SWE-Lancer，这是一个包含 1,400 多个来自 Upwork 的自由职业软件工程任务的基准，总价值达到 100 万美元的真实项目报酬。SWE-Lancer 既包括独立工程任务——从 50 美元的 bug 修复到 32,000 美元的功能实现——也包括管理任务，其中模型需要在技术实现提案之间进行选择。独立任务通过由经验丰富的软件工程师三重验证的端到端测试进行评估，而管理决策则与原始聘请的工程经理的选择进行比较。我们评估了模型性能，发现前沿模型仍然无法解决大多数任务。为了促进未来的研究，我们开源了一个统一的 Docker 镜像和一个公开的评估分割版本 SWE-Lancer Diamond。通过将模型性能映射到货币价值，我们希望 SWE-Lancer 能够促进对 AI 模型开发经济影响的进一步研究。 --- **2025 年 7 月 28 日更新：** 数据集和结果已更新至 2025 年 7 月 17 日，可在 https://github.com/openai/preparedness（在新窗口中打开）和我们的系统卡中获取。更新的数据集消除了执行过程中对互联网连接的要求，从而消除了模型性能变异性的主要来源。