评估先进AI的潜在网络安全威胁

# 评估先进人工智能的潜在网络安全威胁 来源：https://deepmind.google/blog/evaluating-potential-cybersecurity-threats-of-advanced-ai/ 2025年4月2日 责任与安全 人工智能(AI)长期以来一直是网络安全的基石。从恶意软件检测到网络流量分析，预测性机器学习模型和其他狭义AI应用已在网络安全领域使用了数十年。随着我们日益接近通用人工智能(AGI)，AI自动化防御和修复漏洞的潜力变得更加强大。 但要充分利用这些优势，我们也必须理解和缓解日益先进的AI被[滥用](https://cloud.google.com/blog/topics/threat-intelligence/adversarial-misuse-generative-ai)来实施或增强网络攻击的风险。我们新的[框架用于评估AI的新兴进攻性网络能力](https://arxiv.org/abs/2503.11917)正是为此而设计的。这是迄今为止同类评估中最全面的：它涵盖了网络攻击链的每个阶段，涉及多种威胁类型，并以真实数据为基础。 我们的框架使网络安全专家能够在恶意行为者利用AI实施复杂网络攻击之前，识别出哪些防御措施是必要的，以及如何优先排序。 ## 建立全面的基准 我们更新的[前沿安全框架](https://deepmind.google/discover/blog/updating-the-frontier-safety-framework/)认识到先进AI模型可能会自动化和加速网络攻击，可能会降低攻击者的成本。这反过来又增加了大规模攻击被实施的风险。 为了领先应对AI驱动的网络攻击这一新兴威胁，我们采用了经过验证的网络安全评估框架，如[MITRE ATT&CK](https://attack.mitre.org/)。这些框架使我们能够评估贯穿整个网络攻击链（从侦察到目标行动）以及一系列可能攻击场景中的威胁。然而，这些既有框架并非为应对攻击者使用AI入侵系统的情况而设计的。我们的方法通过主动识别AI可能使攻击变得更快、更便宜或更容易的地方来弥补这一差距，例如通过实现完全自动化的网络攻击。 我们分析了来自20个国家超过12,000次真实的AI网络攻击尝试，数据来自[谷歌威胁情报小组](https://cloud.google.com/blog/topics/threat-intelligence/adversarial-misuse-generative-ai)。这帮助我们识别了这些攻击如何展开的常见模式。基于这些，我们整理了七个典型攻击类别清单——包括钓鱼、恶意软件和拒绝服务攻击——并识别了网络攻击链沿线的关键瓶颈阶段，AI可能在这些阶段显著改变传统的攻击成本。通过将评估重点放在这些瓶颈上，防御者可以更有效地优先安排安全资源。 网络攻击链的各个阶段 最后，我们创建了一个进攻性网络能力基准，以全面评估前沿AI模型的网络安全优势和弱点。我们的基准包含50个挑战，涵盖整个攻击链，包括情报收集、漏洞利用和恶意软件开发等领域。我们的目标是为防御者提供开发有针对性缓解措施和模拟AI驱动攻击（作为红队演习的一部分）的能力。 ## 早期评估的见解 我们使用此基准的初步评估表明，在隔离状态下，现有的AI模型不太可能为威胁行为者提供突破性能力。然而，随着前沿AI变得更加先进，可能的网络攻击类型也会演变，这要求持续改进防御战略。 我们还发现，现有的AI网络安全评估通常忽视网络攻击的重大方面——例如躲避（攻击者隐藏其存在）和持久化（攻击者维持对受损系统的长期访问）。但这些恰恰是AI驱动方法特别有效的领域。我们的框架通过讨论AI如何可能降低攻击这些部分成功的门槛，对这一问题进行了阐明。 ## 赋能网络安全社区 随着AI系统持续扩展，其自动化和增强网络安全的能力有可能改变防御者预期和应对威胁的方式。 我们的网络安全评估框架旨在通过提供AI可能如何被滥用，以及现有网络保护可能存在哪些不足的清晰视图来支持这一转变。通过突出这些新兴风险，该框架和基准将帮助网络安全团队加强防御，并领先于快速演变的威胁。 ### 走上通往AGI的负责任之路