2026年5月22日 Frontier Red Team 评估LLMs开发漏洞利用的能力

# 测量LLMs开发漏洞利用的能力 来源: https://www.anthropic.com/research/exploit-evals *Newton Cheng, Keane Lucas, Winnie Xiao, Nicholas Carlini, and Milad Nasr* ## 引言 Claude Mythos Preview (https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf) 开发漏洞利用的能力相比之前的前沿模型有了质的飞跃。这也是我们通过Project Glasswing (https://www.anthropic.com/glasswing)（而非全面公开发布）谨慎推出该模型的主要动机之一。Mythos Preview 能够发现复杂的漏洞，但在我们内部测试 (https://red.anthropic.com/2026/mythos-preview/) 中最令我们担忧的是，Mythos Preview 既能将漏洞转化为利用原语，又能将这些原语组合成完整的端到端攻击链。 当我们发布 Mythos Preview 结果 (https://red.anthropic.com/2026/mythos-preview/) 时，我们通过让其搜索新型零日漏洞并为其构建漏洞利用来衡量其能力。这种定性评估有助于展示模型的能力——但理想情况下，我们应该拥有高质量的定量基准来精确衡量它们。我们在发布 Mythos Preview 时面临的问题是，在初步测试中，没有现有的公开漏洞利用基准足够困难，无法捕捉到 Mythos Preview 的能力。 然而，在过去一个月里，我们看到了两个新的、更具挑战性的学术基准的出现：ExploitBench (http://exploitbench.ai/) 和 ExploitGym (https://rdi.berkeley.edu/blog/exploitgym/)。我们与这些基准的研究人员合作，测量了 Mythos Preview 的性能，并在 SCONE-bench 的更新版本上运行了 Mythos Preview——这是我们与 MATS (https://www.matsprogram.org/) 和 Anthropic Fellows Program 合作开发的用于衡量智能合约漏洞利用的基准。在这三个基准上，我们都发现 Mythos Preview 始终优于所有其他被评估的模型。我们相信，这进一步证明了随着 Mythos 级别能力的更广泛普及，开发漏洞利用所需的知识和专业技能将显著降低。 ## ExploitBench: V8 漏洞 ExploitBench (http://exploitbench.ai/) 是一个研究大型语言模型漏洞利用开发能力的基准。它由卡内基梅隆大学和 Bugcrowd 的 Seunghyun Lee (https://github.com/leesh3288) 和 David Brumley (https://users.ece.cmu.edu/~dbrumley/) 教授构建。这个基准之所以有趣，是因为它侧重于衡量语言模型编写完整端到端漏洞利用的能力。之前的基准通常侧重于衡量语言模型编写“概念验证”（证明漏洞存在）的能力。但概念验证仅表明漏洞是可复现或可达的，并不能说明攻击者可以利用它实际造成危害。在 ExploitBench 中，语言模型必须从漏洞中构建利用原语，以实现新的能力，例如授予攻击者任意代码执行 (ACE) 能力。 ExploitBench 将漏洞利用开发过程分解为 16 种不同的能力。每种能力都通过编程方式验证，从而可以对构建有效漏洞利用所需的不同中间能力进行细粒度分析。这 16 种能力分为五个能力层级，形成一个能力阶梯： - T5 覆盖 (到达易受攻击的代码路径)； - T4 复现 (构建概念验证以触发漏洞)； - T3 目标原语 (创建局限于 V8 沙箱的原语)； - T2 通用原语 (突破沙箱以获取跨进程的读/写或信息泄漏)； - T1 完全控制 (劫持控制流或获得任意代码执行)。 利用这个框架，作者构建了一个 V8 基准，该基准使用来自 V8 Exploit Tracker (https://docs.google.com/document/d/1njn2dd5_6PB7oZGTmkmoihYnVcJEgRwEFxhHnGoptLk/edit?tab=t.0#heading=h.wjlg391wmhzr) 的 V8 JavaScript 和 WebAssembly 引擎中的一组 41 个现已被修补的漏洞。V8 引擎 (https://v8.dev/) 是广泛使用的基础设施，为 Chromium 衍生应用(例如 Chrome、Edge、Android WebView)、Node.js 环境(服务器后端) 和 Electron 应用(例如 VS Code、Slack、Discord) 提供支持。该框架的一个关键要素是针对安全防御进行测试：V8 沙箱隔离了网页 JavaScript 对象所在的内存，这样 V8 漏洞就不会成为深入浏览器的立足点。最高得分层级意味着在 V8 整个进程中实现任意代码执行(在浏览器中，这相当于控制整个标签页)。 给定一个易受攻击的 V8 引擎构建以及修复给定漏洞的补丁，语言模型被指示为该漏洞编写一个漏洞利用程序。然后，根据所有 16 种能力自动对漏洞利用程序进行评分，无需人工或 LLM 评判员。较低的层级通过对修复版本进行差异化执行来检查；较高的层级使用内置于 V8 中的质询-响应函数，这些函数会在多个随机堆布局上重放，因此硬编码泄漏的地址将无法通过。对对话记录进行的单独静态扫描会标记其他形式的作弊行为，作为后备措施。 所有模型都在相同的 ExploitBench 框架上运行，对话次数预算为 300 轮次。该框架本身有两种变体：Baseline 和 Nudged。在 Nudged 变体中，框架会自适应地注入额外的提示，以在接近预算限制时警告模型结束，或者在模型过早停止时鼓励模型利用其对话预算。每种变体运行三次试验。Anthropic 运行了所有 Claude 模型，然后将所有结果和对话记录提供给基准作者，后者验证了结果。 **图 1**：在 41 个 CVE 环境的 3 次试验中达到的最高层级，以及所有试验中达到的 16 项测量结果的平均能力。花费通过 API 使用量计算。来源：exploitbench.ai (http://exploitbench.ai/) **图 2:**：在 Baseline 变体中，模型能够达到给定能力层级的累积环境数量(共 41 个)。 与我们之前在 Mozilla Firefox (https://red.anthropic.com/2026/firefox/) 上的发现一致，所有语言模型都能到达或触发给定的漏洞，但只有自 Claude Opus 4.6 以来的模型才能在 V8 沙箱内部开发原语方面取得进展。突破 V8 沙箱，从 T3 到 T2，是下一个能力断崖；Mythos Preview 是唯一一个能够可靠地做到这一点的测试模型，它在超过一半的测试环境中做到了这一点。在 Baseline 变体中，它还在近一半的环境中实现了控制流劫持 (T1)。结合 Baseline 和 Nudged 变体，Mythos Preview 在 41 个 CVE 中的 21 个上实现了 ACE，而其他模型在任一变体中都没有实现哪怕一个 ACE。在排行榜上，唯一另一个实现 ACE 的模型在 41 个 CVE 中的 2 个上实现了 ACE，并且只使用了专有的脚手架。 此外，作者对 Mythos Preview 的一些漏洞利用尝试进行了深入分析 (https://exploitbench.ai/blog/human-observations/)。在一个案例中，Mythos Preview 能够为漏洞 CVE-2023-6702 创建一个近乎确定性的漏洞利用，而公开已知的漏洞利用则是概率性的且不受控制的。由于漏洞利用的部署可能仅限于一次尝试，因此稳定性对于实际买卖的漏洞利用通常至关重要。Mythos Preview 实现这一点的方式同样令人印象深刻。ExploitBench 的作者之一 Seunghyun Lee 写道：“我曾与原始 1-day v8CTF 漏洞利用的作者私下讨论过正是这个利用计划的可能性，但由于该方法复杂性，我们很快将其驳回。Mythos 干净利落地完美执行了该方法，而没有任何关于此特定利用技术的公开信息。” 在此 (https://exploitbench.ai/blog/human-observations/) 阅读更多定性分析，并访问基准网站 exploitbench.ai (http://exploitbench.ai/) 或预印本 (https://exploitbench.ai/exploitbench.pdf) 了解更多信息。 ## ExploitGym ExploitGym (https://rdi.berkeley.edu/blog/exploitgym/) 是第二个基准，旨在衡量语言模型在广泛目标集上的漏洞利用能力。它由 UC Berkeley、Max Planck Institute for Security and Privacy、UC Santa Barbara 和 Arizona State University 合作开发(包括 Anthropic、OpenAI 和 Google 的安全研究人员的贡献)，是 CyberGym (https://www.cybergym.io/) 漏洞复现基准的后续工作。 ExploitGym 的作者将其评估框架应用于 OSS-Fuzz (https://github.com/google/oss-fuzz)、V8 引擎和 Linux 内核中许多项目的 898 个现已修补的漏洞。这三个目标类别共同涵盖了全球最常用软件的很大一部分。 对于给定的漏洞，语言模型会获得构建信息(易受攻击的源代码和构建脚本)、漏洞信息(漏洞证明；漏洞描述)、运行时信息(编译后的二进制文件；启动脚本)以及运行易受攻击入口点的远程目标。然后，语言模型的任务是开发一个有效的漏洞利用程序，该程序能针对目标实现未经授权的代码执行，以目标安全模型应该无法达到的权限级别运行代码。然后，它必须利用该提升的权限来检索动态生成的 flag。只有当提交了正确的 flag 并且模型评判员确定该尝试利用了预期的漏洞(而不是另一个可能更容易利用的漏洞)时，该尝试才算成功。评估框架支持可切换的安全缓解措施，例如 V8 堆沙箱和 Linux 内核地址空间布局随机化 (KASLR)。 基线评估框架使用两小时的挂钟时间限制，安全缓解措施关闭，并且模型使用其开发者推荐的框架运行，例如 Claude 模型使用 Claude Code 框架运行。所有模型都使用相同的提示运行。Anthropic 运行了 Opus 4.6 和 Mythos Preview 的试验。 **图 3:**：使用预期漏洞并在两小时超时内每个模型成功的次数。每个类别中的成功次数堆叠显示，总成功次数位于每个条形的顶部。 **图 4:**：每个模型捕获的 flag 总数，包括使用非预期漏洞的捕获。 在两小时内，Mythos Preview 在 157 个任务上使用预期漏洞成功实现了未经授权的代码执行，当包括使用不涉及预期漏洞的代码执行路径的尝试时，成功捕获 flag 的次数扩大到 226 次。前几代 Claude 模型的成功率明显较低；例如，Opus 4.6 使用预期漏洞仅获得 15 次成功，当包括通过替代漏洞成功时，扩大到 36 次。从三类目标中成功情况的分布来看，Mythos Preview 的改进表现在所有类别中，并且是仅有的两个能够频繁开发内核漏洞利用的报告模型之一。 有关更多详细信息，请参阅作者的博客 (https://rdi.berkeley.edu/blog/exploitgym/) 或预印本 (https://arxiv.org/abs/2605.11086)。 ## SCONE：智能合约漏洞利用 去年，我们与 MATS 和 Anthropic Fellows Program 合作，开发了智能合约漏洞利用基准 (https://red.anthropic.com/2025/smart-contracts/) (SCONE-bench)，以研究 LLMs 发现和利用智能合约漏洞的能力。对于每个智能合约，语言模型被指示识别漏洞并创建漏洞利用程序，以在本地模拟中窃取由合约管理的资金。性能通过成功利用的总(模拟)收入来衡量。 我们运行了该基准的更新版本，该版本使用了所有模型最新知识截止日期(2026 年 1 月 1 日)之后报告的 12 个漏洞利用，问题来源于 DefiHackLabs 数据集 (https://github.com/SunWeb3Sec/DeFiHackLabs/tree/main/src/test/2026-01)。对于每个被语言模型成功利用的智能合约，我们通过将模型以原生代币计算的收入转换为美元来计算漏洞利用的美元价值，转换使用的汇率是实际利用发生当天的历史汇率，由 CoinGecko API 报告。然后，我们汇总所有漏洞利用的总价值，并将其绘制在下面的对数标度图中。 **图 5:**：在过去一年发布的所有 Anthropic 模型上，在模拟和 Best@8 测试中，成功利用最新知识截止日期之后报告的智能合约漏洞的总收入(对数标度)。阴影区域表示通过对模型-收入对集合进行 bootstrap 计算得到的 90% CI。 我们发现，在此基准上，Mythos Preview 可以成功利用价值 3500 万美元的智能合约，比我们测试的下一个最接近的模型多出 1500 万美元，大约高出 75%。最新的前沿模型既能够更稳定地利用漏洞(对应更高的攻击成功率)，也能够更有效地利用给定的漏洞窃取更多资金。Mythos Preview 与其他模型之间的收入差距主要源于 Mythos Preview 是唯一一个成功利用了所有测试漏洞的模型。Opus 4.7 是唯一其他能够利用 `truebit` 的模型；没有其他模型能够在 8 次试验的设置中利用 `makina`。我们在最初的帖子 (https://red.anthropic.com/2025/smart-contracts/) 中指出，根据总收入与发布时间的对比，Opus 4.5 之前的模型性能遵循对数线性轨迹，平均翻倍时间为 1.1 个月。自 Opus 4.5 以来，我们的模型继续遵循这一趋势，但翻倍时间仅为 0.7 个月。我们在那篇文章中提及“我们预计翻倍趋势最终会趋于平稳”——但显然我们尚未到达这个平台期。 与本文一同，我们还在此 (https://github.com/anthropics/scone-bench) 开源了 SCONE-bench 的框架和数据集。 ## 结论 虽然今年 2 月份最强模型仅能在大多数防御措施禁用的模拟场景中勉强开发漏洞利用，但 Mythos Preview 已经能够在全球最广泛使用的软件上构建完整的端到端漏洞利用。我们相信，Mythos 级别的模型将在未来 6-12 个月内变得广泛可用。届时，这种漏洞利用开发将大大减少对专业知识的依赖，并日益商品化。 随着模型能力的不断增强，误判其能力的代价也随之增加。应对这一挑战需要构建精确且全面的模型能力画像，这反过来需要开发高质量、公开可用的基准——这些基准由具有深厚领域专业知识的人员构建，任务逼真且困难。该领域需要更多像 ExploitBench 和 ExploitGym 这样的工作，涵盖更多漏洞类别、更多目标以及网络攻击链的更多阶段。作为我们研究和减轻日益强大模型所带来的风险承诺的一部分，