标签
SWEeper-Bench 引入了一个包含200个任务的基准,这些任务来自200个广泛使用的开源Web应用的真实缺陷修复,用于评估编码智能体能否在交互式软件中自主发现依赖多步交互才能暴露的缺陷。分析显示,即使是15个前沿智能体中表现最好的,也仅通过了59.0%的任务,主要瓶颈在于识别缺陷行为本身。