@OpenAI: 为了审计SWE-Bench Pro，我们使用了基于模型的调查代理以及来自五位独立专家的独立评审…

X AI KOLs 新闻
benchmark auditing swe-bench openai software-engineering evaluation

摘要

OpenAI 描述了对 SWE-Bench Pro 的审计过程，使用了基于模型的调查代理和来自经验丰富的软件工程师的独立评审，以确保在大规模下的全面评估。

为了审计SWE-Bench Pro，我们使用了基于模型的调查代理以及来自五位独立且经验丰富的软件工程师的独立评审。 这帮助我们在大规模检查任务的同时，将专家判断置于核心位置。https://t.co/3PNbk57uvF
查看原文
查看缓存全文

缓存时间: 2026/07/09 07:43

为了审计SWE-Bench Pro，我们采用了基于模型的调查代理，并辅以五位独立且经验丰富的软件工程师的独立评审。这帮助我们在大规模检查任务的同时，始终以专家判断为核心。https://t.co/3PNbk57uvF

相似文章

介绍 SWE-bench Verified

OpenAI Blog

# 介绍 SWE-bench Verified 来源: [https://openai.com/index/introducing-swe-bench-verified/](https://openai.com/index/introducing-swe-bench-verified/) 我们发布了 SWE-bench 的人工验证子集，能更可靠地评估 AI 模型解决实际软件问题的能力。*更新于 2025 年 2 月 24 日* 作为我们[准备框架⁠](https://openai.com/preparedness/)的一部分，OpenAI 开发了一系列指标来追踪、评估和预测模型的自主行动能力

有人对新DeepSWE进行了审计，结果不太好看

Reddit r/singularity

DeepSWE是一个新的基准测试，用于评估AI编程代理在来自活跃开源仓库的真实软件工程任务上的表现，包含113个任务，涵盖TypeScript、Go、Python、JavaScript和Rust，提供隔离环境和基于程序的验证器。

在编码评估中分离信号与噪声

Hacker News Top

OpenAI 对编码基准 SWE-Bench Pro 进行了审计，发现约 30% 的任务因测试过于严格和提示不够明确等问题而存在缺陷，建议模型开发者仔细检查结果。