论文页面 - SWEeper-Bench：智能体能发现交互式软件中的缺陷吗？

来源：https://huggingface.co/papers/2610.14096

摘要

编程智能体越来越多地通过即时生成交互式软件来与用户交互，而不是用文本回复，但此类软件中的许多缺陷只有经过多步交互后才会显现。如今，用户必须自行发现这些缺陷并等待修复，导致开发循环缓慢且成本高昂。现有基准通常假定缺陷已经被识别，因此智能体发现依赖交互才能显现的故障的能力在很大程度上尚未得到评估。我们推出了 SWEeper-Bench，其中包含基于 200 个广泛使用的开源 Web 应用中的真实缺陷修复构建的 200 项任务。每项任务仅向智能体提供代码库和一个开放式请求，例如“查找并修复 Focalboard 看板共享和成员管理中的问题。”由于这些缺陷很难仅凭代码检测出来，智能体必须设计交互式测试来揭示它们。随后，一个验证智能体会根据用户在浏览器中能够观察到的结果来评判每次修复。15 个前沿智能体中表现最好的也仅通过了 59.0% 的任务。通过逐阶段分析智能体的执行轨迹，我们表明，最大的瓶颈在于识别存在缺陷的行为：智能体经常能找到相关功能，却始终未能触发故障，或未能识别出故障。SWEeper-Bench 衡量智能体自主完成这一闭环的进展，使其能够交付正常运行的软件，无需等待用户反馈。

查看 arXiv 页面 (https://arxiv.org/abs/2610.14096)查看 PDF (https://arxiv.org/pdf/2610.14096)项目页面 (https://sweeperbench.com/)GitHub2 (https://github.com/zlab-princeton/sweeper-bench)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.14096)

在你的智能体中获取这篇论文：

hf papers read 2610\.14096

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.14096，即可从本页面链接到该模型。

引用这篇论文的数据集2

zlab-princeton/SWEeper-Bench-traces 查看器• 约 15 小时前更新 • 5.2k • 5.12k • 1 (https://huggingface.co/datasets/zlab-princeton/SWEeper-Bench-traces)

zlab-princeton/SWEeper-Bench 查看器• 约 15 小时前更新 • 200 • 258 • 2 (https://huggingface.co/datasets/zlab-princeton/SWEeper-Bench)

引用这篇论文的 Space0

没有 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.14096，即可从本页面链接到该 Space。

收录这篇论文的合集0

没有合集收录这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集。