2026年6月3日 Frontier Red Team:映射AI赋能网络威胁:来自LLM ATT&CK Navigator的洞察

Anthropic Research 论文

摘要

Anthropic的Frontier Red Team分析了832个被封账户,发现AI正在赋能更复杂的网络行动,中高风险行为者的比例在不到一年内从33%上升至56%。他们将真实世界的AI赋能网络攻击映射到MITRE ATT&CK框架上,揭示了挑战传统网络安全假设的模式。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/06/17 17:41

# 映射AI赋能网络威胁:来自LLM ATT&CK Navigator的洞察 来源:https://www.anthropic.com/research/attack-navigator *Kyla Guru, Alex Moix 和 Jacob Klein* *过去一年,我们持续调查威胁行为者如何利用AI进行网络攻击。今天,我们分享一项新分析,将这些真实世界的攻击映射到**MITRE ATT&CK®框架 (https://attack.mitre.org/)**——一个网络攻击者使用的战术与技术数据库。通过映射,我们揭示了挑战传统网络安全假设的模式——例如,威胁行为者的风险级别可以通过技术复杂度或技术广度等指标来评估。我们与Verizon合作,将其中部分结果纳入**2026年Verizon数据泄露调查报告 (DBIR) (https://www.verizon.com/business/resources/reports/dbir/)**,并发布本报告,以提供对我们在AI赋能网络行动中观察到的趋势的更详细分析。*\[1\] 打开交互式Navigator(在新标签页中)(https://red.anthropic.com/2026/attack-navigator/navigator.html)。 ## 主要发现 在这项研究中,我们分析了从2025年3月到2026年3月一年间与恶意网络活动相关的832个账户。Anthropic因这些账户使用Claude违反了我们的使用政策 (https://www.anthropic.com/legal/aup)而将其封禁。本分析中的账户仅为我们在此期间调查并封禁的账户的一部分;我们选择它们是因为我们有足够关于其恶意活动的详细信息,能够将其技术映射到MITRE ATT&CK框架。 我们分析中的832个账户使用了AI模型进行所有14种战术和框架中482种独特的子技术,范围从初始侦察到最终影响。\[2\]我们还开发了一个风险评分框架(详见下文),用于评估AI辅助对这些行为者规划攻击的帮助程度。最引人注目的是,我们发现被标记为中等风险或更高的行为者比例,在一年中的上半年和下半年之间从33%跃升至56%。这表明AI正在帮助攻击者更轻松地进行日益复杂的网络攻击。 我们的分析得出三个关键发现: 1. **使用AI进行网络攻击的行为者数量正在增长,并且他们的行为带来更高风险。**如上所述,中等或高风险行为者的比例在不到一年的时间内增长了约1.7倍,从我们研究窗口上半年的33%增加到下半年的56%。这种增长集中在那些使用AI进行最具危害性活动的行为者身上,包括横向移动、凭证转储和Web Shell——这些活动在我们的评分中拥有最高的单个行为者风险权重,而非主导其余行为者群体的商品化构建与混淆工作。传统上,只有技术最娴熟的行为者才能跨越整个杀伤链(即网络攻击的连续阶段)。但我们的分析发现,这种情况已不复存在。他们访问模型的平台(如API或像Claude Code这样的智能编码平台)也与其行为的高风险程度无关。真正区分最高风险行为者的是他们要求模型执行哪些技术。 2. **智能体脚手架将使网络攻击变得更加自主。**随着AI赋能网络技术在这一群体中变得越来越普遍,根据行为者要求模型做什么来区分其风险水平将变得更加困难。相反,区分因素将变成行为者围绕模型构建的脚手架——即使AI模型更强大的外围代码、架构和工具——以便他们能够自主地将攻击阶段串联起来。这在2025年11月我们挫败的网络间谍活动 (https://www.anthropic.com/news/disrupting-AI-espionage)中表现得很明显,该活动的风险评分高达100,但使用的技术数量仅与中等风险行为者相当。那次攻击之所以与众不同,并非因为其采用的技术数量,而是因为攻击者如何使用AI智能体来协调这些技术。 3. **MITRE ATT&CK框架尚未涵盖使这些行为者如此危险的自主行动。**自主杀伤链协调、实时转向决策以及无需人工干预的AI指导执行,在ATT&CK框架中尚未有编号。我们的报告包含了13,873次恶意活动观察,全部映射到了框架中列出的类别——但区分最高风险行为者并决定其行动速度和规模的行为,尚未拥有这样的编号。现代威胁情报所依赖的分类法需要发展以捕捉这些行为。 虽然Claude Mythos Preview (https://red.anthropic.com/2026/mythos-preview/)展示了前沿AI网络能力的未来方向——模型能够以接近最熟练人类研究人员的水平发现并利用漏洞——但这份报告告诉我们威胁行为者当前如何滥用通用可用的模型。同时,它也作为一个指南,展示了威胁行为者近期可能如何滥用能力日益增强的模型,让防御者有机会领先一步。 我们从本次及其他分析中学到的内容,直接塑造了我们构建Claude以防止此类滥用的方式。例如,我们更新了内置于Claude中的分类器以检测最高风险行为者,并扩展了我们的探针 (https://www.anthropic.com/research/next-generation-constitutional-classifiers)检测,以涵盖本次分析揭示的高风险行为指标。这些发现描绘了一个图景:低风险与高风险行为者之间的分界线不再是技术能力,而是协调能力;而防御措施、检测手段以及我们共同依赖的共享框架,都需要随着它们所描述的攻击同步演进。 ## 关于数据集 本报告中的发现来自832个账户,这些账户因在2025年3月至2026年3月期间违反我们使用政策中与网络相关的部分而被Anthropic封禁。我们通过自动化防护措施和威胁情报团队的调查相结合的方式识别出这些账户。对于每个账户,我们生成了观察到的活动的摘要。然后,我们提取了这些摘要中描述的战术、技术和流程(TTPs),并将它们映射到当时现行的MITRE ATT&CK框架 (https://attack.mitre.org/versions/v18/)版本(V18)。总共,我们观察了跨482种独特技术和全部14种ATT&CK战术的13,873次行动。 我们根据一种新开发的称为AI风险赋能评分(ARiES)的方法(下文描述),为每个行为者分配了从0到100的风险评分(0为最低风险,100为最高风险)。我们对数据进行了匿名化处理,使得在后续分析中无法识别出行为者。 ## LLM ATT&CK Navigator 和 ARiES 风险评分 作为本次分析的一部分,我们开发了LLM ATT&CK Navigator:一个交互式框架,将观察到的AI赋能滥用模式映射到MITRE ATT&CK框架上,并为行为者分配ARiES风险评分。ARiES是一个由三个信号组成的综合评分:行为者的威胁概况、模型对所请求危害的贡献,以及观察到的或潜在的影响。它基于行为者在Claude.ai、Claude Code和我们的API上的活动进行计算,并利用我们的安全分类器以及开源和内部的威胁情报指标。分数越高,AI赋能行为者的风险越高。 我们的框架从三个维度对单个技术和账户进行评分: - **威胁 (0–35分):**评估行为者意图的清晰度、其技术复杂程度、威胁情报信号以及行为者为逃避检测而采用的战术。技术复杂度由Claude根据行为者的提示和工具使用情况进行分级,衡量所需专业知识、操作者技能、定制化与商品化工具的使用,以及能力深度。 - **脆弱性 (0–35分):**评估模型促成所请求危害的能力以及所用界面的风险概况。编程接口(即API)和像Claude Code这样的智能编码工具得分最高,因为它们具有自动执行行动的潜力。 - **影响 (0–30分):**通过我们的安全分类器分配的评分以及调查人员对由于AI参与行动而产生的实际或潜在后果的评估,来捕捉用户行为的现实世界影响。 这些组成部分共同产生从0到100的总风险评分,使我们能够将威胁行为者和技术分为低、中、高和严重四个风险等级。 ### 关于评分公式的说明 ## 网络威胁行为者当前如何使用AI 我们对13,873项观察到的技术的实证分析揭示了对手在攻击生命周期中如何使用AI的清晰模式,以及当前模型被用于的最常见技术。 ### AI辅助能力开发 我们观察到的最常见的技家族是ATT&CK ID T1587(开发能力),在我们分析的832个行为者中有574个使用了该技术,占69%。其中大部分行为表现为T1587.001(恶意软件开发),有560个行为者使用。在实践中,我们观察到威胁行为者滥用模型来构建和优化自定义脚本以运行、编写带有详细实现指导的DLL注入代码,以及浏览器指纹规避和自动账户管理。 接下来最流行的技术是T1027(混淆文件或信息),由64.7%的威胁行为者使用;T1005(来自本地系统的数据),由55.9%的威胁行为者使用;以及T1562(削弱防御),由54.9%的威胁行为者使用。这些顶级技术共同表明,威胁行为者最常寻求LLM的帮助来构建攻击前期的进攻性工具、使这些工具更难被检测,以及从受感染系统中收集数据。 另一方面,行为者一旦进入目标网络内部,使用LLM进行实时、自适应决策的可能性要小得多。例如,在832个威胁行为者中,只有54个(6.5%)使用模型进行横向移动,而使用模型进行RDP、SSH和SMB等远程服务的行为者不到12个。只有22.5%的行为者使用LLM进行权限提升和影响阶段。 一些现实世界网络攻击中的常见技术家族——例如活动目录利用、Kerberos票据攻击、云基础设施操纵(AWS、Azure、GCP)和容器逃逸——在我们的数据集中代表性明显较低。 在我们研究的一年期间,行为者使用的顶级技术及其频率没有太大变化。在该时间段的上半年和下半年,模型被使用的技术数量中位数均为16。在下半年,我们观察到一个微妙的趋势转变,威胁行为者使用模型构建独立恶意软件或混淆脚本的情况减少,而更多用于协助网络攻击中的特定操作阶段,以及用于目标发现和收集技术。具体来说,我们观察到T1087(账户发现)的出现次数增加了8.9%,T1020(自动渗透)增加了6.2%,而T1587(开发能力)减少了12%,T1566(网络钓鱼)减少了8.6%。 ### AI辅助规避战术 防御规避是数据集中最大的单一战术类别,出现在我们研究的84.4%的行为者行为中。MITRE在“防御规避”下定义了64种技术(涵盖其企业 (https://attack.mitre.org/tactics/TA0005/)和移动 (https://attack.mitre.org/tactics/TA0030/)特定框架);我们在数据集中观察到了其中的32种技术:25种企业技术和7种移动技术。 在此战术中观察到的顶级技术包括: - **T1027(混淆文件或信息)。** 样本中64.7%的威胁行为者使用AI来实现诸如XOR/base64编码、多态变体和反检测封装等技术,以规避基于签名的检测。 - **T1562(削弱防御)。** 54.8%的受研究威胁行为者使用AI来绕过、禁用或篡改端点安全工具。 - **T1055(进程注入)。** 30.3%的行为者使用AI编写可注入到合法进程中的恶意代码,例如进程镂空和DLL注入,以从受信任进程内存中执行载荷。 较少使用的战术包括影响(2.8%)、渗漏(2.8%)、权限提升(2.4%)和横向移动(0.7%)。这些加起来仅占所有观察结果的8.7%——少于防御规避单项。这些操作都发生在攻击生命周期的后期,表明威胁行为者更多地在攻击的早期阶段使用模型,而在后期使用较少——也就是说,一旦他们渗透进网络并在实时环境中适应情况,模型使用就会减少。在我们研究的一年期间,这种模式保持稳定。 ### 高风险行为者及其战术 虽然像横向移动这样的战术在我们的数据集中不太普遍,但它们与最高的ARiES风险评分高度相关——这意味着最高风险的行为者也最有可能在网络攻击的后期阶段使用模型。使用AI进行横向移动的行为者,其风险评分平均比不使用AI工具进行此类操作的行为者高出10.5分。这表明,从使用AI准备网络攻击到使用它在实时网络操作中采取行动,是高度AI赋能的关键标志。 总体而言,风险评分最高的行为者最集中地使用AI进行入侵后、手动键盘操作技术,例如远程服务、凭证转储、Web shell部署以及内部网络和账户发现。横向移动是高风险行为者最强烈的标志:我们数据集中使用横向移动的54个行为者的平均风险评分为56.4,比平均值46.8高出近10分。没有其他技术具有如此强的预测能力。 在技术层面,最高风险行为者最常使用的技术是T1021(远程服务:SSH/SMB)、T1078.003(有效账户)、T1003(操作系统凭证转储)、T1560(归档收集数据)和T1505.003(Web Shell)。与总体人群相比,这些技术在高风险行为者中的出现频率高出三到五倍。 与此同时,最普遍的战术(如防御规避和资源开发)以及商品化技术(如凭证填充和鱼叉式网络钓鱼),在高风险与低风险行为者中的使用频率大致相同,鉴于这些战术如此普遍,这并不令人意外。综合来看,数据表明大多数威胁行为者使用AI在攻击的准备阶段构建恶意代码等工件,但最高风险行为者既在攻击的准备阶段使用模型,也在入侵网络后的手动操作中使用模型。 我们还发现,威胁情报团队通常用来评估威胁行为者的属性——例如他们的技术技能评估、选择的界面或使用技术的数量——对于预测AI模型可能为特定威胁行为者带来多大提升而言,是较弱的预测因子。技术复杂度(一旦从综合评分中移除以避免循环论证)与剩余风险组成部分的相关性仅为 r = 0.28。在 f

相似文章

2026年6月8日 Frontier Red Team 测量LLM对N-day漏洞利用的影响

Anthropic Research

Anthropic的Frontier Red Team评估了大型语言模型如何加速N-day漏洞的利用,发现Claude Mythos Preview能够自主构建针对18个Firefox补丁中的8个以及21个Windows内核补丁中的8个的有效漏洞利用,强调了补丁间隙期间威胁的增加。

用人和AI推进红队测试

OpenAI Blog

OpenAI 发布了一份白皮书,详细说明了他们对AI模型进行外部红队测试的方法,包括选择多样化红队成员、确定模型访问权限、提供测试基础设施以及整合反馈以改进AI安全和政策覆盖范围的方法。

遏制人工智能的恶意使用 | 2026年2月

OpenAI Blog

OpenAI 发布了2026年2月的威胁报告,详细介绍了检测和防止人工智能恶意使用的案例研究,重点说明了威胁行为者如何将AI模型与传统工具结合,并在协调行动中滥用多个平台和模型。