让语言模型在用户遇到问题前就修复漏洞的全新基准测试

大家好！这是一个新的基准测试，是我与 Meta、Stanford、Harvard、UW 的其他研究人员共同创建的。如今的大多数基准测试似乎都只是测试模型修复那些作为用户的我已经遇到过的漏洞。但现在我们是否应该期望模型能够在任何人遇到问题之前就主动找出漏洞呢？因此在 SWE-sweep 中，我们直接将一个大型代码库交给智能体，让它尽可能多地找出并修复漏洞。然后我们会根据我们所掌握的一组隐藏漏洞为它打分，这些漏洞已存在于相关仓库中。所有漏洞都是真实存在的。我们进行了大量筛选，以确保这些漏洞确实可以通过仅阅读代码库来发现和修复。https://preview.redd.it/irffy7x5v2th1.png?width=1080&format=png&auto=webp&s=847a08f1a255fe39addd004cbb2a65561b1cf2a6 我们仍在持续扩充排行榜上的本地模型列表（遗憾的是，在资金、基础设施等方面总是困难重重），但目前看来，在成本效率方面很难超越 Luna xhigh。另外，得分比我预期的要低得多。有些任务在实践中确实属于超人类水平（比如修复整个 numpy），但也存在许多小型代码库，我原本期望当前模型在这些任务上能取得好得多的成绩。所有内容均以 MIT 许可证开源发布在 GitHub 上，你可以在我们的网站上找到论文等资料。欢迎在这里提问，也非常好奇你们会推荐我们接下来测试哪些开放权重模型（我们计划下周发布更新）。