@patio11: 红队在人工对抗时代总是获胜。软件存量已彻底完蛋，若非近期程序员生产力的提升，面对新威胁将需要数千亿美元的修复成本……
摘要
Patrick McKenzie 认为，在安全演练中红队总是击败人类；而软件存量若非近期程序员生产力的提升，将需要数千亿美元的修复成本。
@tenobrus 红队在人工对抗时代总是获胜。软件存量已经彻底完蛋，面对新威胁本将需要数千亿美元的修复成本，但近期程序员生产力的提升让我们避免了这一局面。
查看缓存全文
缓存时间: 2026/10/04 11:11
@tenobrus 当攻击由人类实施时，红队总是获胜。软件的安装基础现在完全烂透了，如果没有近期编程生产力的提升，应对新威胁将需要数千亿美元的修复成本。
相似文章
@MAXdeg0: 这极度危险 发现了一个无需人类输入的AI红队 PentAGI。扫描器 —> 利用器 —> 报告器 —>…
一个名为PentAGI的自主AI红队系统使用三个代理来扫描、利用和报告漏洞，使严肃的安全测试更加易用，同时强调仅限授权使用。
@tenobrus：我的先验是，除非软件真的经过形式化验证，或者完全物理气隙隔离，否则不管是什么，都会像湿纸一样被撕穿——就算今天没有，三个月后也会。
一位开发者表达了悲观的先验：任何缺少形式化验证或物理气隙隔离的软件都注定会被攻破。这一观点是对相关讨论的回应——讨论涉及某 AI 实验室在智能体隔离安全评估中失败，以及近期内核 CVE 和 KVM 逃逸漏洞的背景。
2026年6月3日 Frontier Red Team：映射AI赋能网络威胁：来自LLM ATT&CK Navigator的洞察
Anthropic的Frontier Red Team分析了832个被封账户，发现AI正在赋能更复杂的网络行动，中高风险行为者的比例在不到一年内从33%上升至56%。他们将真实世界的AI赋能网络攻击映射到MITRE ATT&CK框架上，揭示了挑战传统网络安全假设的模式。
用人和AI推进红队测试
OpenAI 发布了一份白皮书，详细说明了他们对AI模型进行外部红队测试的方法，包括选择多样化红队成员、确定模型访问权限、提供测试基础设施以及整合反馈以改进AI安全和政策覆盖范围的方法。
@saranormous: https://x.com/saranormous/status/2064510215056400652
尽管以Devin为代表的AI编程助手取得了快速进展，显著提升了代码编写和交付的速度，但本文认为，软件工程中最有价值的部分仍难以通过基准测试衡量，并且需要人类的判断和组织协调，这些是无法轻易自动化的。