software-bugs

SWEeper-Bench 引入了一个包含200个任务的基准，这些任务来自200个广泛使用的开源Web应用的真实缺陷修复，用于评估编码智能体能否在交互式软件中自主发现依赖多步交互才能暴露的缺陷。分析显示，即使是15个前沿智能体中表现最好的，也仅通过了59.0%的任务，主要瓶颈在于识别缺陷行为本身。

关于AI代理在代码编辑任务中的实验表明，当错误已经修复时，代理经常过度编辑代码，性能根据任务指令而变化。使用真实仓库的基准测试突出了代理在软件开发中的行为问题。

这篇文章汇集了计算机科学和软件开发中引人入胜的历史故事和轶事，突出了著名的错误、失败和设计见解。

一场讨论，质疑AI发现软件漏洞的能力究竟是问题还是机遇，让Google和Microsoft等公司能够主动修复漏洞。

Vitalik Buterin 反驳了漏洞不可避免以及 AI 查找漏洞就不得不闭源的说法，他指出编写安全代码已变得更加困难，但并非不可能。