检测与应对AI滥用:2026年9月
摘要
Anthropic威胁情报团队报告了从2025年12月到2026年8月检测和应对Claude AI模型滥用的情况,涵盖网络操作和监控等危害领域。
<a href="https://www-cdn.anthropic.com/e50be2e51e7695dc4b1366a37a245a597377d3b5/Anthropic-Detecting-and-countering-091026.pdf" rel="nofollow">https://www-cdn.anthropic.com/e50be2e51e7695dc4b1366a37a245a...</a>
查看缓存全文
缓存时间: 2026/09/10 23:18
# 抵制人工智能滥用:2026年9月 / Anthropic 来源:https://www.anthropic.com/threat-intelligence-report-september-2026
## 检测与应对人工智能滥用:2026年9月
### 网络行动
了解更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#cyber-operations-sep-26)
### 监控行动
了解更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#surveillance-operations-sep-26)
### 影响力行动
了解更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#influence-operations-sep-26)
### 常规武器
了解更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#conventional-weapons-sep-26)
### 生物滥用
了解更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#biological-misuse-sep-26)
### 非法蒸馏
了解更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#illicit-distillation-sep-26)
过去八个月,我们的威胁情报团队识别并阻止了威胁行为者试图利用Claude从事恶意活动的行动。在这份报告中,我们分享了这些行动中的案例研究,并描述了自我们之前在2025年3月(https://www.anthropic.com/news/detecting-and-countering-malicious-uses-of-claude-march-2025)、8月(https://www.anthropic.com/news/detecting-countering-misuse-aug-2025)和11月(https://www.anthropic.com/news/disrupting-AI-espionage)发布的威胁报告以来,Claude的恶意使用如何演变。在每种情况下,我们都阻止了相关活动,利用所学知识加强了我们的防护措施,并在适当时与当局和行业合作伙伴分享了情报。本报告涵盖了我们在2025年12月至2026年8月期间于七大危害领域——网络行动、影响力行动、监控、诈骗与欺诈、生物滥用、常规武器开发和蒸馏——阻止的活动。涉及的模型包括Claude Haiku、Sonnet和Opus。除了一起非法蒸馏案外,所有滥用案例均未涉及Claude Fable或Mythos级模型的使用。
我们在此分享的案例并非典型的滥用,而是迄今为止我们所识别出的最显著和新颖的威胁活动示例。我们发布这份工作,是因为我们相信我们有责任披露对我们服务的恶意滥用。随着模型能力日益增强,除非人工智能开发者和社会的守护者采取行动使其更安全,否则其风险将会增加。
本报告涵盖的威胁行为者包括疑似国家支持的团体、以经济为动机的犯罪分子、商业间谍软件供应商、国家宣传机构以及具有政治动机的个人。案例范围从旨在欺骗用户的虚假约会网站网络,到用于识别和监控异见人士的监控系统。复杂且持续的威胁行为者不断测试我们的防护措施,并试图规避我们用于检测和防止滥用的技术手段。我们将继续改进我们的防护措施,并与合作伙伴协调,以提高我们检测、阻止和预防未来滥用的能力(https://www.anthropic.com/news/building-safeguards-for-claude)。我们希望本报告中的发现能够帮助其他开发者在自己的平台上识别类似的模式,让政府和民间社会更清晰地了解新兴威胁是如何形成的,并加强集体防御。
### 人工智能增强的网络行动
#### 网络行动:从助手到协调者
过去六个月,我们的威胁情报团队识别并阻止了一系列涉及威胁行为者使用Claude的网络行动。行为者包括疑似国家支持的团体、以经济为动机的犯罪分子以及具有政治动机的个人。本节将介绍其中部分案例。在这些案例研究中,报告将引用“生成式威胁组织”。这是Anthropic内部对滥用人工智能的观察行为者的代号。报告还试图衡量“赋能提升”——我们用来描述人工智能能力增益的术语,即与不使用人工智能相比,使用人工智能造成了多少危害。我们从速度、规模和深度的视角看待赋能提升,并试图确定行为者采用人工智能如何显著影响这些特征。
许多评论者关注人工智能大规模开发漏洞的风险。虽然这是一种危险,但采用人工智能的风险在“网络杀伤链”中更为明显,因为对手可以在更少的资源下,更快地在更广泛和更深入的表面区域运作。案例的时间跨度从2025年12月到2026年8月。在所有案例中,都使用了Claude Haiku、Sonnet和Opus模型;未在Claude Fable或Mythos上发现恶意活动(后者具备一系列防护措施,可大幅降低其执行有害网络任务的能力)。在每个案例中,我们都阻止了相关活动,根据所学知识加强了我们的AI防护措施,并在适当时与当局和行业合作伙伴分享了情报。在以下报告中,我们首先讨论在这些网络行动中观察到的关键趋势,然后介绍案例研究及其如何凸显这些趋势。
### 趋势
### 复杂攻击不再需要复杂的攻击者
AI模型的网络安全技能意味着,AI已经消除了过去将资源丰富的国家级行动与个人操作者隔开的劳动力和工具差距。在我们报告的案例研究中,一名使用被盗API密钥的黑客活动分子、零散的以经济为动机的个人以及一名国家间谍操作者,各自维持了多受害者攻击活动,即使在一年前,这些活动也需要许多熟练操作者和专业知识。对于威胁情报调查人员来说,复杂性已不再是可靠指示行动背后是谁的信号。攻击行动的每一个环节——从侦察和工具开发到数据处理和利用——都得到了AI的赋能提升。
案例研究GTG-50014(下文描述)记录了能力提升的一个例子。这种能力提升的净效应是获得更广和更深的知识,进而推动了能力开发和实施速度的提升。2025年11月,我们记录了一个疑似国家级行动使用的自动化攻击运行模式。该模式现在已扩散到我们调查的每一类行为者。公开可用的攻击性代理框架,如PentAGI (https://github.com/vxcontrol/pentagi),为任何下载它们的人复制了大量相同的脚手架。这个脚手架有效地自动化了网络杀伤链的每一步。从国家机构到个人操作者,跨越不断扩大的国家范围,这些案例背后的行动者采用了AI赋能的杀伤链。案例研究GTG-20006记录了这种采用AI赋能杀伤链的一个例子。
随着模型的持续演进和改进,我们评估认为,更多的行为者,从独狼到有组织的实体,将继续采用AI框架,以更高的速度和规模实施更复杂的网络攻击。
### AI在网络行动中的角色日益自主化
本报告描述的大部分行动都是通过AI直接执行或协调来实现的。AI的使用超越了简单的聊天机器人问答,而是涉及执行侦察、利用和数据窃取的多智能体框架。人类仍然通过设定攻击目标和审查窃取的数据来保持对流程的控制。这一趋势的一个例子是GTG-20006。该行为者开发了一个AI辅助的工作流程,如果其工具包被安全产品检测到,该流程会自动重建和重新部署该工具包。
## GTG-20006:俄罗斯间谍活动
历史上,网络间谍行为者遵循一个模式:开发和部署定制工具包以规避检测。行为者会使用这些工具,直到防御者识别出并构建特征签名来检测和阻止它们,然后开始新一轮的规避与检测。因此,强大的防御和检测为对手增加了成本。然而,现在采用AI威胁会迅速且轻易地颠覆防御者仅通过静态检测来增加对手成本的能力。
GTG-20006是一个通过使用AI自动化其行动来提高速度的行为者。我们的归因与公开报道将该行为者与Midnight Blizzard联系起来是一致的。其中一名操作者是俄语使用者,用户名为“JackPoterz”,其攻击技术和目标选择与俄罗斯国家关联的间谍活动一致。他们运行的行动攻击了乌克兰和欧洲政府的军事情报目标,以及与美国外交政策相关的国防和外交组织与个人。
我们观察到GTG-20006通过定制的AI驱动工作流程运作,自动化了其大部分从开发、基础设施获取、钓鱼、持久化、命令与控制到数据窃取的操作。GTG-20006使用了一个由两个系列的Windows植入程序、一个移动利用工具包、一个针对浏览器密码存储的凭证窃取工具、一个旨在模仿政府组织等优先目标的钓鱼平台以及一个用于管理被入侵账户的管理控制台组成的定制工具包。这些工具在网络行动期间通过AI辅助工作流程进行管理和按需调整。
该行为者还使用AI监控其工具规避已知安全防御检测的效果。如果其监控AI代理检测到任何已部署的恶意软件被安全产品检测到,代理就会开始自主修改和重建恶意软件以规避现有检测的过程。代理被设计为持续迭代GTG-20006的工具包,直到其不被检测到。此时,工具会从可丢弃的托管服务器上准备就绪,用于实时行动,在这些服务器上,受害者的流量被引导以在多次网络行动(包括钓鱼、ClickFix (https://en.wikipedia.org/wiki/ClickFix) 和DNS劫持计划)中获取恶意软件。
该行为者还使用AI驱动其钓鱼行动。他们开发了AI驱动的工作流程来研究并注册域名,然后配置用于发送钓鱼邮件的托管基础设施。还开发了额外的工作流程来发送邮件并监控C2渠道以获取成功的入侵结果。人类操作者主要参与在需要优化时修改驱动工作流程的Claude Code技能。
我们的调查在该行为者的行动规划、侦察和实时行动中识别出超过20个不同的目标组织。它们包括政府部委、国防和情报机构、大使馆和外交使团、智库以及国防工业公司,集中在乌克兰和欧洲,但延伸到中东和亚洲的海事相关政府机构。目标的一个共同主题是乌克兰以及军用无人机技术提供商和供应链。例外情况包括一个与海上运输和追踪相关的东南亚政府实体,以及一个北非政府技术管理机构。
### 网络行动
最常重复出现的目标是乌克兰政府、军方和外交人员。该行为者扫描了超过二十多个乌克兰政府组织的电子邮件服务和远程访问系统。第二个重复出现的窃取目标是无人机供应链技术。该行为者批量导出了至少两家无人机部件制造商的邮箱,针对了一家军用无人机制造商,并窃取了一套完整的无人机视觉系统的专有软件开发工具包。他们花费数天时间逆向工程该无人机的视觉系统,恢复了其产品架构、硬件物料清单、供应商依赖关系以及未公布产品的细节。军用无人机控制和AI视觉相关固件似乎是特别感兴趣的目标。
并非所有目标都是直接的:为了间接达到目标,该行为者入侵了至少三家运营酒店宾客WiFi的酒店服务供应商。他们使用被入侵的管理员凭证修改DNS记录,将其指向该行为者拥有的服务。使用这些被入侵供应商的酒店的宾客连接酒店WiFi时,他们的流量、设备标识符和IP地址会被发送到行为者的服务器。此时,会准备ClickFix (https://en.wikipedia.org/ClickFix) 风格的诱饵,向受害者设备投放Windows、Android和iOS恶意软件。该行为者能够使用从酒店管理系统窃取的宾客信息与从个别宾客设备窃取的数据相结合,以聚焦额外的定向努力。特别关注的目标是与乌克兰相关的个人,包括政府官员和无人机制造商。
注意,在2026年7月,Microsoft威胁情报发布了一份关于此处使用的窃取和恶意软件投放方法的报告,他们称之为CaptiveCrunch (https://www.microsoft.com/en-us/security/blog/2026/07/31/captivecrunch-midnight-blizzard-targets-travelers-worldwide-for-malware-delivery-and-credential-theft/)。该行为者还接管了受害者的WhatsApp账户,使用无头浏览器平台将受害者账户关联为伴生设备。部分通过使用WPPConnect (https://github.com/wppconnect-team/wppconnect)开源WhatsApp自动化库,该行为者的配置禁用了已读回执,以便受害者不会注意到其批量导出俄语和乌克兰语对话。至少两名前乌克兰高级官员以这种方式成为目标。
该行为者还针对监控平台。他们发现了摄像头流媒体服务应用程序接口中的授权漏洞,并由此枚举用户并窃取了授予他们访问受害者实时摄像头流的令牌。同一行为者还入侵了一个北非政府技术管理机构。他们窃取了一个VPN设备的凭证,并利用其接管了该组织的中央账户服务器。这使得他们能够窃取其完整的凭证数据库:超过30万条国民身份记录,以及在该国运营的超过50万家公司的商业登记数据。
该行为者继续开发一个云电子邮件间谍平台,该平台部分使用“Embassy Kit”——该行为者用于管理设备代码钓鱼的框架——来运营Microsoft 365令牌窃取活动。该平台用于针对外交和政府人员,导致访问并窃取了至少八个组织的邮件记录,包括一个国家检察官办公室、一所军事教育机构和一个区域性政府间组织。
Windows凭证窃取器通过假更新主题的社会工程诱饵投放,以及带有完全远程访问能力的伴随载荷。这些载荷旨在冻结受害机器的安全更新,这意味着安全厂商发布的新恶意软件检测特征签名将不会被获取或在受害机器上运行。
该行为者在其行动的每一步都使用了AI:
- **侦察:**该行为者...
相似文章
破坏AI的恶意使用:2025年10月
OpenAI发布了2025年10月关于破坏AI恶意使用的报告,详细介绍了自2024年2月以来破坏的40多个违反使用政策的网络,包括国家关联威胁、诈骗和影响力操作。
2026年6月3日 | 政策 | 通过绘制一年来的AI驱动网络威胁图景,我们学到了什么
Anthropic在过去一年中分析了832个被禁账户的恶意AI驱动网络活动,发现AI通过支持更自主、更复杂的攻击,使攻击者更具危险性,且现有框架如MITRE ATT&CK未能完全捕捉这些新型威胁。
遏制人工智能的恶意使用 | 2026年2月
OpenAI 发布了2026年2月的威胁报告,详细介绍了检测和防止人工智能恶意使用的案例研究,重点说明了威胁行为者如何将AI模型与传统工具结合,并在协调行动中滥用多个平台和模型。
@AnthropicAI:我们正在发布迄今最详细的威胁情报报告。该报告涵盖了人们如何试图滥用Claude——例如……
Anthropic发布了其迄今最详细的威胁情报报告,内容涉及试图将Claude AI用于网络攻击和监视等恶意活动的企图,详细说明了对保障措施的破坏和改进。
2026年8月26日 社会影响:使外部研究人员能够独立研究人们如何使用Claude
Anthropic试行了一项计划,使外部研究人员能够通过隐私保护工具独立研究Claude使用数据,分享聚合结果并公开数据,以更好地理解AI的社会影响。