@bcherny:最新发布的《威胁情报报告》读来绝对令人心惊,也极其重要。随着模型变得越来越智能……

X AI KOLs Timeline 新闻

摘要

Anthropic 于2026年9月发布的《威胁情报报告》详细阐述了在网络安全、监控与生物领域对人工智能滥用行为的干预案例,强调随着人工智能模型能力的提升,建立保障措施已刻不容缓。

最新发布的《威胁情报报告》读来绝对令人心惊,也极其重要。 随着模型变得越来越智能,若缺乏适当的保障措施与监控,它们也可能变得愈发危险。许多能力都具有双重用途:一个编程能力强的模型可被用于攻击关键基础设施;一个辅助生物学研究的模型也可能被用于制造下一次大流行。 这些问题错综复杂、棘手,且对每个人都日益重要。了解这些问题,才能让全球社会共同审视并应对这些迅速升级的风险。 https://anthropic.com/threat-intelligence-report-september-2026…
查看原文
查看缓存全文

缓存时间: 2026/09/11 22:42

最新威胁情报报告内容骇人且至关重要。随着模型智能程度提升,若缺乏适当的安全措施与监控,其危险性也将随之增加。许多能力具有双重用途:擅长编码的模型可能被用于攻击关键基础设施;辅助生物学研究的模型也可能被用于设计下一次大流行。这些问题复杂棘手,且对每个人都日益重要,唯有如此世界才能对快速升级的风险进行审视和应对。https://anthropic.com/threat-intelligence-report-september-2026… — # 对抗AI滥用:2026年9月 / Anthropic 来源:https://www.anthropic.com/threat-intelligence-report-september-2026 ## 检测与对抗AI滥用:2026年9月 ### 网络行动 阅读更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#cyber-operations-sep-26) ### 监控行动 阅读更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#surveillance-operations-sep-26) ### 影响力行动 阅读更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#influence-operations-sep-26) ### 常规武器 阅读更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#conventional-weapons-sep-26) ### 生物滥用 阅读更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#biological-misuse-sep-26) ### 非法提炼 阅读更多 (https://www.anthropic.com/threat-intelligence-report-september-2026#illicit-distillation-sep-26) 过去八个月,我们的威胁情报团队识别并阻止了多起威胁行为者试图将Claude用于恶意活动的行动。在本报告中,我们分享了这些行动中的案例研究,并阐述了自2025年3月(https://www.anthropic.com/news/detecting-and-countering-malicious-uses-of-claude-march-2025)、8月(https://www.anthropic.com/news/detecting-countering-misuse-aug-2025)和11月(https://www.anthropic.com/news/disrupting-AI-espionage)发布上一份威胁报告以来,Claude的恶意使用情况如何演变。在每个案例中,我们都阻止了相关活动,利用所学加强了安全措施,并在适当时与执法机构及行业伙伴分享了情报。本报告涵盖了2025年12月至2026年8月间我们在七个危害领域阻止的活动:网络行动、影响力行动、监控、诈骗与欺诈、生物滥用、常规武器开发和模型提炼。涉及的模型包括Claude Haiku、Sonnet和Opus。除了一起非法提炼案例外,所有滥用案例均未涉及使用Claude Fable或Mythos级模型。 我们在此分享的案例并非典型滥用,而是迄今为止我们识别出的最显著和新颖的威胁活动示例。我们发布此报告是因为我们认为,我们有责任披露对我们服务的恶意滥用。随着模型能力日益增强,其风险也将随之上升,除非AI开发者和社会的守护者采取行动使其更安全。本报告涵盖的威胁行为者包括疑似国家支持的团体、受经济利益驱动的犯罪分子、商业间谍软件供应商、国家宣传机构以及具有政治动机的个人。案例范围从旨在欺诈用户的虚假约会应用网络,到用于识别和监控异见人士的监控系统。 复杂且持续的威胁行为者不断测试我们的安全措施,并试图绕过我们用于检测和滥用的技术手段。我们将继续演进我们的安全措施,并与合作伙伴协调,以提高我们检测、阻止和预防未来滥用的能力。(https://www.anthropic.com/news/building-safeguards-for-claude) 我们希望本报告的发现能帮助其他开发者在其平台上识别类似模式,为政府和公民社会提供更清晰的视角以了解新兴威胁如何形成,并加强集体防御。 ### AI增强的网络行动 #### 网络行动:从助手到编排者 过去六个月,我们的威胁情报团队识别并阻止了一系列威胁行为者使用Claude的网络行动。这些行为者包括疑似国家支持的团体、受经济利益驱动的犯罪分子以及具有政治动机的个人。本节将介绍其中一些案例。 在整个案例研究中,报告将引用“生成式威胁组”(GTGs)。这是Anthropic内部对观察到滥用AI的行为者的代号。报告还试图衡量“提升”(uplift),我们用此术语描述AI能力带来的增益,即与没有AI相比,AI造成了多少额外危害。我们从速度、规模和深度的视角审视提升效果,并试图确定行为者采用AI如何显著影响这些特征。 许多评论者关注AI大规模开发漏洞的风险。虽然这是一种危险,但采用AI的风险在网络杀伤链中更为显著,对手可以更快、在更广泛和更深入的攻击面上、用更少的资源进行操作。这些案例的时间跨度为2025年12月至2026年8月。在所有案例中,均使用了Claude Haiku、Sonnet和Opus模型;未在Claude Fable或Mythos上发现恶意活动(后者拥有一系列安全措施(https://www.anthropic.com/news/fable-safeguards-jailbreak-framework),极大降低了其执行有害网络任务的能力)。在每个案例中,我们都阻止了相关活动,根据所学加强了AI安全措施,并在适当时与执法机构和行业伙伴分享了情报。在接下来的报告中,我们将首先讨论在这些网络行动中观察到的关键趋势,然后报告案例研究并说明它们如何凸显这些趋势。 ### 趋势 ### 复杂的攻击不再需要复杂的攻击者 AI模型的网络安全技能意味着,AI已经消除了以往将资源雄厚的国家级行动与个人操作者区分开来的劳动力和工具差距。在我们报告的案例研究中,一名使用被盗API密钥的黑客活动分子、不同的受经济利益驱动的个人以及一名国家间谍操作者,各自维持着多受害者攻击活动,即使在仅仅一年前,这也将需要许多技能娴熟的操作者和专业知识。对于威胁情报调查人员来说,复杂性已不再是判断行动背后主使的可靠信号。 攻击行动的每一个层面都因AI而得到提升,从侦察和工具开发到数据处理和利用。案例研究GTG-50014(下文描述)记录了能力提升的一个例子。这种能力提升的净效应是获得了更广广度和更深度的知识,进而推动了能力开发和实施速度的提升。 2025年11月,我们记录了一个疑似国家支持的行动所使用的自主攻击操作模型。该模型现已在我们调查的每一类行为者中扩散。公开可用的攻击代理框架,如PentAGI (https://github.com/vxcontrol/pentagi),为任何下载它们的人复制了大量相同的脚手架。这个脚手架有效地自动化了网络杀伤链的每一步。观察到的案例背后的操作者范围从国家机构到个人,跨越了越来越多的国家。案例研究GTG-20006记录了采用AI驱动杀伤链的一个例子。 随着模型持续演进和改进,我们评估认为,更多的行为者,从独狼到有组织的实体,将继续采用AI框架,以更快速度和更大规模实施更复杂的网络攻击。 ### AI在网络行动中的角色日益自主 本报告中描述的大多数行动都是通过AI直接执行或编排实现的。AI的使用超越了聊天机器人的简单问答,而是涉及使用多代理框架执行侦察、利用和数据渗出。人类通过设定攻击目标和审查渗出内容来保持人在环中。这一趋势的一个例子是GTG-20006。该行为者开发了一个AI辅助的工作流,如果其工具包被安全产品检测到,就会自动重新构建和重新部署。 ## GTG-20006:俄罗斯间谍活动 历史上,网络间谍行为者遵循一种模式,即开发和部署旨在规避检测的定制工具包。行为者会使用这些工具,直到防御者识别并构建签名来检测和阻止它们,然后开始新一轮的规避与检测循环。因此,稳健的防御和检测为对手增加了成本。然而,现在AI的采用威胁要迅速且轻松地颠覆防御者仅通过静态检测向对手施加成本的能力。 GTG-20006是一个通过使用AI自动化操作来提高速度的行为者。我们的归因与公开报告一致,将该行为者与“午夜暴雪”(Midnight Blizzard)联系起来。其中一名操作者是讲俄语的,使用化名“JackPoterz”,其操作手法和目标选择与俄罗斯国家关联的间谍活动一致。他们开展行动攻击乌克兰和欧洲政府的军事情报目标,以及与美国外交政策相关的外交、国防组织和个人。 我们观察到GTG-20006通过定制的AI驱动工作流进行操作,这些工作流自动化了其大部分行动,从开发、基础设施获取、网络钓鱼、持久化到命令与控制,直至数据渗出。GTG-20006采用了一个由两族Windows植入程序、一个移动利用工具包、一个针对浏览器密码存储的凭证窃取工具、一个旨在模仿政府组织等优先目标的网络钓鱼平台以及一个用于管理被入侵账户的管理控制台组成的定制工具包。在网络行动期间,每种工具都通过AI辅助工作流进行管理和按需调整。 该行为者还使用AI监控其工具规避已知安全防御检测的效果。如果其监控AI代理识别出任何已部署的恶意软件被安全产品检测到,代理就会开始自主修改和重建恶意软件以规避现有检测的过程。这些代理被设计为持续迭代GTG-20006的工具包,直至其无法被检测到。此时,工具会在一次性托管服务器上为实际操作做准备,受害者的流量被引导至这些服务器以获取恶意软件,用于其众多网络行动,包括网络钓鱼、ClickFix (https://en.wikipedia.org/wiki/ClickFix)和DNS劫持计划。 该行为者还使用AI驱动其网络钓鱼行动。他们开发了AI驱动的工作流,用于研究并注册域名,然后配置用于发送网络钓鱼电子邮件的托管基础设施。其他工作流被开发用于发送电子邮件并监控命令与控制渠道以发现成功的入侵。人类操作者主要在需要改进驱动工作流的Claude Code技能时参与。 我们的调查在该行为者的行动规划、侦察和实时行动中发现了20多个不同的目标组织。它们包括政府部委、国防和情报机构、大使馆和外交使团、智库以及国防工业公司,主要集中在乌克兰和欧洲,但也延伸至中东和亚洲的海事相关政府机构。一个共同的针对主题是乌克兰以及军用无人机技术提供商和供应链。例外情况包括一个与海事航运和跟踪相关的东南亚政府实体,以及一个北非政府技术当局。 ### 网络行动 最常重复出现的目标是乌克兰政府、军方和外交工作人员。该行为者扫描了二十多个乌克兰政府组织的电子邮件服务和远程访问系统。第二个常见的窃取目标是无人机供应链技术。该行为者批量导出了至少两家无人机零部件制造商的邮箱,针对了一家军用无人机制造商,并窃取了一套完整的无人机视觉系统专有软件开发工具包。他们花了数天时间逆向工程无人机的视觉系统,恢复了其产品架构、硬件物料清单、供应商依赖性以及未公布产品的详细信息。军用无人机控制和AI视觉相关固件似乎尤其受关注。 并非所有目标都是直接的:为了间接接触其目标,该行为者入侵了至少三家运营酒店客人WiFi的酒店服务商。他们使用被入侵的管理员凭证修改DNS记录,使其指向行为者拥有的服务(这种技术称为DNS劫持)。使用被入侵服务商的酒店客人在连接到酒店WiFi时,其流量、设备标识符和IP地址会被发送到行为者的服务器。此时,会设置ClickFix (https://en.wikipedia.org/ClickFix)风格的诱饵,将Windows、Android和iOS恶意软件传送到受害者设备。该行为者能够结合从酒店管理系统窃取的客人信息与从个别客人设备窃取的数据,来聚焦额外的定向攻击工作。 特别感兴趣的目标是与乌克兰相关的个人,包括政府官员和无人机制造商。请注意,在2026年7月,微软威胁情报发布了一份关于此处使用的窃取和恶意软件传递方法的报告,他们称之为CaptiveCrunch (https://www.microsoft.com/en-us/security/blog/2026/07/31/captivecrunch-midnight-blizzard-targets-travelers-worldwide-for-malware-delivery-and-credential-theft/)。该行为者还接管了受害者的WhatsApp账户,使用无头浏览器平台 (https://en.wikipedia.org/wiki/Headless_browser) 将受害者账户链接为伴侣设备。部分通过使用WPPConnect (https://github.com/wppconnect-team/wppconnect) 开源WhatsApp自动化库,行为者的配置禁用了已读回执,以便在受害者未察觉的情况下批量导出俄语和乌克兰语对话。至少两名乌克兰前高级官员以这种方式成为目标。 该行为者还针对监控平台。他们在摄像头流服务的应用接口中发现了授权漏洞,并从中枚举用户并收集令牌,这些令牌使他们能够访问受害者的实时摄像头画面。同一行为者还入侵了一个北非政府技术当局。他们窃取了一个VPN设备的凭证,并使用这些凭证接管了该组织的中央账户服务器。这使他们能够渗出其完整的凭证数据库:超过30万份国民身份记录,以及超过50万家在该国运营的公司的商业登记数据。该行为者还在持续开发一个云电子邮件间谍平台,该平台部分使用了“Embassy Kit”(行为者的设备代码网络钓鱼管理框架)来运营一个Microsoft 365令牌窃取活动。这个平台用于针对外交和政府人员,导致访问和渗出了

相似文章

遏制人工智能的恶意使用 | 2026年2月

OpenAI Blog

OpenAI 发布了2026年2月的威胁报告,详细介绍了检测和防止人工智能恶意使用的案例研究,重点说明了威胁行为者如何将AI模型与传统工具结合,并在协调行动中滥用多个平台和模型。

深入Anthropic AI滥用威胁报告

Reddit r/ArtificialInteligence

本文剖析了Anthropic发布的AI滥用威胁报告,揭示了与俄罗斯相关的行为者制造自主无人机蜂群的案例,以及中国实体的国家级滥用行为,强调了强化AI安全措施的必要性。