大型语言模型（LLM）与生成式人工智能在网络安全与隐私中的应用：双重用途风险、AI生成恶意软件、可解释性及防御策略综述

# 大型语言模型（LLM）与生成式人工智能在网络安全与隐私领域的应用：双重用途风险、AI生成恶意软件、可解释性及防御策略综述
来源：https://arxiv.org/html/2607.06963
###### 摘要

大型语言模型（LLM）与生成式人工智能（GenAI）系统，例如OpenAI、Anthropic、Google、Meta、Microsoft、Stability AI分别推出的ChatGPT、Claude、Gemini、LLaMA、Copilot、Stable Diffusion，正在彻底改变网络安全领域，同时赋能自动化防御与复杂攻击。这些技术以前所未有的规模支持实时威胁检测、钓鱼防御、安全代码生成和漏洞利用。仅LLM生成的恶意软件预计将在2025年占已检测威胁的50%，而2021年这一比例仅为2%，这凸显了下一代安全框架的紧迫需求。本文对LLM在网络安全中的有益和恶意应用进行了全面综述，包括零日检测、DevSecOps、联邦学习、合成内容分析和可解释人工智能（XAI）。基于对70余篇学术论文、行业报告和技术文档的回顾，本文综合了来自Google Play Protect、Microsoft Defender、亚马逊云服务（AWS）、苹果App Store、OpenAI插件商店、Hugging Face Spaces、GitHub等平台的实际案例研究，以及SAFE框架和AI驱动异常检测等新兴举措的见解。最后，我们提出了负责任的透明LLM部署和可信AI的实用建议，包括模型水印、对抗性防御和跨行业协作——为AI与威胁防御交叉领域的严谨、整体性网络安全研究设立了新标杆，并为安全、可扩展的LLM系统提供了路线图，作为研究人员、工程师和安全领导者应对AI驱动的网络安全复杂挑战的关键参考。

## I 引言

人工智能的快速演进已将大型语言模型（LLM）和生成式AI置于软件创新与网络安全转型的前沿。LLM最初旨在增强自然语言理解，如今GPT-4、PaLM和Gemini等模型已被广泛采用于各行业，以自动化代码生成、加速开发工作流程并支持智能决策[1 (https://arxiv.org/html/2607.06963#bib.bib1),2 (https://arxiv.org/html/2607.06963#bib.bib2),3 (https://arxiv.org/html/2607.06963#bib.bib3)]。然而，这种广泛采用也带来了一把双刃剑：LLM赋能防御者——尤其是Google Play、苹果App Store及其他企业应用平台的管理员——执行静态代码扫描、自动化威胁检测并实时提升代码质量。但与此同时，这些模型也被攻击者利用，大规模生成恶意软件、混淆代码并发现漏洞。这种双重性带来了复杂的安全与治理挑战，凸显了系统分析、负责任部署和稳健防御框架的迫切需求[4 (https://arxiv.org/html/2607.06963#bib.bib4)]。

本文对LLM在网络安全中的风险与机遇进行了全面综述。我们探讨了其双重用途性质、最新的行业与学术进展，以及防御者和攻击者如何利用这些模型完成代码生成、恶意软件设计、零日检测和DevSecOps等任务，并辅以架构对比、基准研究和跨行业案例示例。

为引导读者，本文结构如下：第二部分通过回顾现有文献，奠定LLM演进、能力及早期治理工作的基础背景。第三部分深入分析LLM在安全领域的适用性，详述其双重用途潜力、AI生成恶意软件等特定威胁向量、可解释性的作用以及新兴防御策略。在此分析基础上，第四部分概述了推进LLM安全使用所必需的未来研究方向。论文在第五部分总结，归纳研究发现，并提出以可解释性、隐私设计、联邦学习和合规性为核心的治理路线图。通过将防御创新与新兴安全标准对齐，本文为应对LLM驱动的网络安全生态系统日益增长的复杂性提供了及时框架。

## II 背景与文献综述

### II-A LLM的演进与能力

大型语言模型（LLM）已从其最初的自然语言翻译和生成应用迅速演进为能够支持复杂软件工程任务的高能力系统。GPT-4和PaLM等模型现在能够以越来越高的准确性和流畅性执行代码生成、重构、调试甚至形式化验证[1 (https://arxiv.org/html/2607.06963#bib.bib1),5 (https://arxiv.org/html/2607.06963#bib.bib5)]。这些进步得益于缩放Transformer架构以及在多样化编程和自然语言语料库上的训练。OpenAI和Google的最新研究展示了LLM如何集成到完整开发管线中，协助测试用例创建、API文档编写和动态bug修复[6 (https://arxiv.org/html/2607.06963#bib.bib6),7 (https://arxiv.org/html/2607.06963#bib.bib7),8 (https://arxiv.org/html/2607.06963#bib.bib8)]。

### II-B 安全风险与早期治理努力

LLM的双重用途性质引发了重大安全担忧。一方面，它们可以支持代码审计和威胁检测；另一方面，它们可能生成混淆或不安全的代码，或被武器化用于恶意目的。先前的工作强调了主动安全防护的必要性，例如Brundage等人关于结构化红队测试和审计追踪的建议，以及欧盟《人工智能法案》，该法案要求对高影响力模型进行风险评估和透明度报告[9 (https://arxiv.org/html/2607.06963#bib.bib9),61 (https://arxiv.org/html/2607.06963#bib.bib61)]。这些框架旨在减轻滥用风险，同时支持负责任的创新。

### II-C 双重用途LLM的伦理与治理

将LLM集成到CI/CD管线中可自动化关键安全任务，如代码审查、威胁检测和合规执行。GitLab和Azure DevOps展示了基于GPT的工具如何实现实时安全加固和策略执行[11 (https://arxiv.org/html/2607.06963#bib.bib11),12 (https://arxiv.org/html/2607.06963#bib.bib12)]。

尽管欧盟AI法案和美国NIST AI RMF代表了重大进展，但网络安全中LLM的全球治理格局仍然充满活力，其他主要技术区域正在制定各自独特的方法。例如，亚洲国家如中国、日本、韩国和新加坡正在积极制定反映其独特优先事项的AI法规和伦理指南。理解这些多元化的国际视角并推动更大监管互操作性的对话，对于应对网络威胁的无国界性质以及确保全球协调应对双重用途AI带来的风险至关重要[9 (https://arxiv.org/html/2607.06963#bib.bib9),61 (https://arxiv.org/html/2607.06963#bib.bib61),11 (https://arxiv.org/html/2607.06963#bib.bib11),12 (https://arxiv.org/html/2607.06963#bib.bib12)]。

### II-D LLM在DevSecOps自动化中的应用

对GitHub Copilot和Microsoft Security Copilot的实证研究表明，AI增强的开发者在检测和修复安全缺陷方面效率更高。这些工具不仅提高了生产力，还降低了漏洞潜入生产代码的概率[60 (https://arxiv.org/html/2607.06963#bib.bib60),14 (https://arxiv.org/html/2607.06963#bib.bib14)]。

### II-E 人机协作确保安全开发

安全开发中人机协作的一个重要方面涉及利用AI模型增强人类在威胁检测中的能力。例如，像VulBERTa这样的LLM正在被微调，以通过源代码中的模式识别来识别零日漏洞。这些模型优于传统静态分析器，显著改善了检测时间线和新攻击向量识别的精确度[15 (https://arxiv.org/html/2607.06963#bib.bib15)]。

### II-F 通过联邦学习实现隐私感知的LLM部署

隐私保护的LLM部署策略越来越相关。联邦学习允许在分布式设备上进行训练，而无需集中数据，符合GDPR等法律。Kairouz等人和Bonawitz等人已证明这些框架在保持模型实用性的同时保护了隐私[57 (https://arxiv.org/html/2607.06963#bib.bib57),58 (https://arxiv.org/html/2607.06963#bib.bib58)]。

### II-G 可解释性与对AI驱动防御的信任

在自动化安全系统中采用LLM需要透明度。可解释AI（XAI）方法如SHAP和LIME已被定制，使基于LLM的漏洞分类可解释。这些模型帮助开发者和分析师理解预测背后的理由，支持可审计性和合规性[18 (https://arxiv.org/html/2607.06963#bib.bib18),19 (https://arxiv.org/html/2607.06963#bib.bib19)]。

### II-H 对抗性攻击与模型漏洞

将LLM集成到安全关键领域使其暴露于复杂的对抗性攻击之下。Carlini等人强调，训练数据可以从LLM中提取，从而破坏机密性[8 (https://arxiv.org/html/2607.06963#bib.bib8)]。Wallace等人证明，提示注入和对抗性微调可以操纵LLM输出，绕过内容过滤器。Jia等人最近的工作组织了一场全球竞赛，揭示了LLM如何被诱导生成攻击性内容和错误信息，强调了严格对抗性测试框架的必要性[20 (https://arxiv.org/html/2607.06963#bib.bib20)]。

## III LLM在安全领域的适用性分析

随着LLM深度嵌入软件开发和网络安全管线，其双重用途潜力引发了越来越多的审查。越来越多的研究记录了这些模型如何无意或故意地产生不安全代码，包括加密缺陷、SQL注入向量和XSS漏洞[21 (https://arxiv.org/html/2607.06963#bib.bib21),22 (https://arxiv.org/html/2607.06963#bib.bib22),23 (https://arxiv.org/html/2607.06963#bib.bib23)]。更令人担忧的是，LLM的可访问性已经使欺骗性内容的创建民主化——使非专家和恶意行为者 alike 能够大规模生成钓鱼应用、多态恶意软件和社会工程脚本[24 (https://arxiv.org/html/2607.06963#bib.bib24),25 (https://arxiv.org/html/2607.06963#bib.bib25),26 (https://arxiv.org/html/2607.06963#bib.bib26)]。这些发展反映的不是孤立的失败，而是生成式模型在没有足够约束的情况下部署时引入的系统性风险。本节通过三个视角分析此类风险：（1）由滥用和业余错误塑造的新兴威胁格局，（2）行业主导的减轻LLM攻击的防御策略，以及（3）使安全部署复杂化的更广泛治理和技术挑战。

### III-A 业余开发者与安全风险

虽然LLM赋能了快速软件创作，但它们也无意为业余编码者引发了一波不安全的开发浪潮。这些模型降低了技术入门门槛，使缺乏安全培训的个人能够快速生成功能性代码。然而，这种便利往往以安全为代价。研究表明，缺乏经验的开发者经常将LLM生成的代码片段直接整合到应用程序中，而不验证正确性、上下文或安全影响[27 (https://arxiv.org/html/2607.06963#bib.bib27),28 (https://arxiv.org/html/2607.06963#bib.bib28)]。结果，常见的漏洞如不正确的身份验证、不安全的API使用和不安全的加密实践在生产软件中扩散。

这一趋势在开源和移动应用生态系统中尤为令人担忧，因为低门槛的发布流程使不安全代码能够接触到广泛受众。与蓄意攻击不同，这些安全缺陷源于结构性差距——缺乏工具、审查和意识——凸显了需要集成LLM的防护栏，能够主动为新手用户标记不安全模式。虽然业余滥用源于缺乏专业知识，但对手故意利用LLM揭示了一种更具计算性——且可扩展的——生成式AI武器化。

### III-B 恶意行为者利用LLM

与业余者意外滥用形成对比，恶意行为者正在利用LLM作为有意的网络攻击的倍增器。这些对手使用生成模型来自动化大规模创建恶意软件、钓鱼载荷、勒索软件变体和代码混淆策略。与需要领域专业知识的传统恶意软件作者不同，攻击者现在可以提示LLM以最小努力输出恶意脚本——极大地加速了开发周期。行业报告表明，LLM促进的威胁活动急剧升级，由LLM生成或辅助的恶意软件在2025年占所有新威胁的显著份额[29 (https://arxiv.org/html/2607.06963#bib.bib29),30 (https://arxiv.org/html/2607.06963#bib.bib30),31 (https://arxiv.org/html/2607.06963#bib.bib31)]。攻击者进一步利用LLM绕过静态过滤器，生成每次迭代略有变异的代码——规避基于签名的检测系统。这反映了威胁可扩展性的范式转变：曾经受限于人类能力，现在是AI增强的，使对手能够以工业规模运作。

### III-C LLM相关恶意软件的统计概述

LLM技术的普及与恶意利用的可衡量增长相对应。最近的网络安全报告显示，由LLM生成或辅助的恶意软件急剧上升，引发了对自动化威胁扩展和高级攻击工具民主化访问的担忧。表I (https://arxiv.org/html/2607.06963#S3.T1)给出了2021年至2025年间总恶意软件案例及归因于LLM生成威胁的比例的逐年细分[32 (https://arxiv.org/html/2607.06963#bib.bib32)]。

表 I：LLM生成恶意软件的增长（2021–2025）为了量化LLM对威胁格局加速的影响，我们分析了Cybersecurity Ventures覆盖2021年至2025年恶意软件趋势的数据。如图1 (https://arxiv.org/html/2607.06963#S3.F1)所示，在此期间总恶意软件案例稳步增加。更值得注意的是，归因于LLM的恶意软件份额激增——从2021年的仅2%上升到2025年的预计50%。这一趋势凸显了根本性转变：LLM不再是实验的边缘工具，而是积极塑造网络威胁的规模、速度和复杂性。陡峭的增长曲线强调了需要主动防御机制，以适应AI辅助攻击向量和不断演变的对手能力。

柱状图显示估计的全球年度恶意软件案例，叠加LLM辅助恶意软件的快速增长，从2021年的2%上升到2025年的50%图 1：估计的全球年度恶意软件部署趋势