CyberSecQwen-4B：为何防御性网络安全需要小型、专用、可本地运行的模型

来源：https://huggingface.co/blog/lablab-ai-amd-developer-hackathon/cybersecqwen-4b 返回文章列表 (https://huggingface.co/blog)

https://huggingface.co/login?next=%2Fblog%2Flablab-ai-amd-developer-hackathon%2Fcybersecqwen-4b-

Samuel 的头像 (https://huggingface.co/athena129)

• 为何这很重要
• 为何是小型 专用 模型，而非仅仅小型模型
• 5 分钟快速了解
• 为何选择 AMD MI300X
• 训练数据
• 训练方案
• 姊妹模型：相同方案，不同基础
• 挑战与修复
• 自行尝试
• 预期用途
• 未来展望
• 结语

专为 AMD 开发者黑客松构建 (https://lablab.ai/ai-hackathons/amd-developer/athena19/cybersecqwen-4b-cti-specialist-fine-tuned-on-amd)· 在单个 AMD Instinct MI300X 上训练 · Apache 2.0

为何这很重要

前沿模型在很多方面表现出色，但调用成本高昂，每次都会将提示发送到他人的数据中心，并且被训练为拒绝那些防御者真实面对的混乱边缘案例——例如事件报告、自身日志中发现的攻击者级别载荷、漏洞披露草案。

防御性网络安全领域绝不容许这些权衡存在。

• 敏感证据保持内部。 SOC 分析师处理泄露的凭据转储、恶意软件逆向工程师分析样本、漏洞研究人员撰写 CVE 报告——他们都不应将这些内容粘贴到托管的 API 中。数据本身就可能成为泄露源。
• 每次调用的 API 成本会叠加。 中等规模的 SOC 每天处理数千个低置信度告警。对于“解释这个 CVE”或“适用哪个 CWE”这类任务，托管 API 的成本将防御自动化变成一个预算问题。
• 气隙和部分连接的环境是常态，而非例外，尤其是在关键基础设施、医疗保健和政府工作中。如果你的工具无法在笔记本电脑或单块本地 GPU 上运行，那它在这些环境中就无法部署。
• 对手正变得更加自动化。 勒索软件团伙使用大语言模型以 30 种语言编写钓鱼邮件；漏洞赏金自动化工具链通过代理工具比人类评审速度更快地进行模糊测试、分类和利用。防御需要以同样的速度进行，因此防御者需要自己拥有并能运行的模型。

所以：本地化很重要。但仅仅“本地”还不够。

为何是小型 专用 模型，而非仅仅小型模型

一个 70B 的通用模型在四块 GPU 上本地运行，虽“本地”但不可部署。一个 4B 的通用模型在单块消费级 GPU 上本地运行，虽可部署但在你需要它完成的实际工作上却比不过 8B 的专用模型。

CyberSecQwen-4B 背后的信念是：对于狭窄且经过充分评估的网络威胁情报任务——CWE 分类、CVE 到 CWE 映射、结构化 CTI 问答——一个精心微调的 4B 模型能够匹配甚至超越 8B 的专用模型，同时适配 12 GB 的消费级显卡。

我们针对能找到的最强公开基线进行了测试：Cisco 的 Foundation-Sec-Instruct-8B (https://huggingface.co/fdtn-ai/Foundation-Sec-8B)，并按他们自己的发布协议在 CTI-Bench (https://github.com/xashru/cti-bench) 上进行了评估。

CyberSecQwen-4B 保留了 Foundation-Sec-Instruct-8B 97.3% 的 CTI-RCM 准确率，同时 CTI-MCQ 分数高出 +8.7 个点，参数数量仅为后者的一半。 对于选择部署方案的防御者来说，这才是唯一重要的数字。

5 分钟快速了解

下面 5 分钟的视频以更直观的形式介绍了训练方法、AMD MI300X 工作流程以及基准测试结果。如果你想详细阅读所有内容，这篇文章的其余部分涵盖相同内容，并配有精确的配置。

为何选择 AMD MI300X

整个流程——训练、适配器合并、评估——端到端地在 AMD Developer Cloud 的单个 AMD Instinct MI300X 192 GB 实例上运行。192 GB HBM3 与 ROCm 7 的 vLLM 栈相结合，意味着我们完全无需考虑量化技巧、梯度检查点或在设备间拆分模型。全 bf16、FlashAttention-2 前向+反向、批大小为 4、序列长度 4096——全部在单张 GPU 上完成。

train.sh 中的方案是硬件无关的。要在其他 40 GB+ 数据中心 GPU 上运行，只需移除 AMD 特定的环境变量（它们在别处无操作）并重新从对应的 wheel 安装 flash-attn。我们通过在一个不同的栈上训练姊妹模型验证了可移植性——下文详述。

训练数据

两份语料，均以 Apache-2.0 许可发布：

1. 2021 年 CVE → CWE 映射，来源为 MITRE / NVD 公开记录。关键的是，所有与 CTI-Bench 评估集重叠的数据在训练前已去重，因此上述基准分数是诚实的分布外保留数据，而非污染。
2. 合成防御分析师问答，基于去重后的 CVE 描述。使用更强的教师模型生成，并以 Apache-2.0 许可发布供再分发。

基础模型是 Qwen3-4B-Instruct-2507 (https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507)，一个 Apache-2.0 指令微调的 4B 模型，是训练时可用的性能最高的 4B 级 IT 模型。我们有意识地对 IT 检查点（而非基础模型）进行微调——这保留了 IT 阶段已经建立的简洁答案多项选择格式先验，而先 IT 后 SFT 的方式会消除这些先验。

这里有一个值得指出的显著效果：

与底层预训练基础模型相比，IT 基础模型显著降低了 MCQ 准确率——这与 Cisco 报告的 Foundation-Sec-Instruct 相对于 Foundation-Sec 基础模型的“指令微调导致 MCQ 下降”模式完全相同。我们的微调在两个基准上均恢复并超过了 IT 起点，恢复了 IT 侵蚀的格式绑定，同时提供了领域提升。

训练方案

LoRA r       = 64
LoRA alpha   = 64        # alpha/r = 1.0
LoRA dropout = 0.05
LR           = 5e-5      # 余弦, warmup ratio 0.03
Epochs       = 10
Precision    = bf16
Attention    = FlashAttention-2 (前向 + 反向)
Max seq len  = 4096
Batch        = 4 (无累积)
Optimizer    = paged_adamw_8bit

在 Qwen 上启用了 FlashAttention-2，因为其头维度 (128) 非常适应 MI300X (gfx942) 的共享内存预算。在此配置下，每步时间稳定在约 ~7.85 秒/步——比相同方案在姊妹模型 Gemma-4-E2B 基础模型上快约 1.6 倍，后者无法在其全局注意力层使用 FA2（head_dim=512 超出 LDS 预算），因此回退到 sdpa。

姊妹模型：相同方案，不同基础

为了验证结果是方案驱动还是基础模型特定，我们训练了一个姊妹模型——Gemma4Defense-2B (https://huggingface.co/athena129/Gemma4Defense-2B)——使用完全相同的训练语料和超参数，仅将基础模型替换为 Gemma-4-E2B-it。

这两个模型在 CTI-RCM 上收敛于 0.9 个点以内。该方案具有可移植性——关键在于如何微调 IT 检查点，而非属于哪个模型家族。CyberSecQwen-4B 采用 Apache 2.0 许可，是当 Gemma 的使用条款成为问题时的不二选择；Gemma4Defense-2B 则是当 2B 参数比 4B 更适合部署预算时的正确选择。

挑战与修复

没有哪个 AMD ROCm 项目能少得了“战争故事”章节。以下是我们遇到的简要版本：

自行尝试

在线演示（登录 HF 获取免费配额）： 👉 https://huggingface.co/spaces/lablab-ai-amd-developer-hackathon/cybersecqwen-chat

模型： 👉 https://huggingface.co/lablab-ai-amd-developer-hackathon/CyberSecQwen-4B

三行代码推理（任意 12 GB+ GPU）：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "lablab-ai-amd-developer-hackathon/CyberSecQwen-4B"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")

messages = [
    {"role": "system", "content": "你是防御性网络安全助手。请先回答标准的 CWE-ID，然后用 1-3 句话说明理由。"},
    {"role": "user", "content": "Java Web 应用中的路径遍历漏洞，用户控制的输入直接拼接到 File() 路径中。对应的 CWE 是什么？"},
]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(prompt, return_tensors="pt").to(model.device), max_new_tokens=256, temperature=0.3)
print(tok.decode(out[0], skip_special_tokens=True))

对于高吞吐量服务，vLLM 在 AMD MI300X 上通过官方 vllm/vllm-openai-rocm 镜像即可开箱即用。请参阅 GitHub 仓库 (https://github.com/GPT-64590/CyberSecQwen-4B) 获取精确的服务命令和固定配置。

预期用途

CyberSecQwen-4B 专为从事以下工作的安全从业者构建：

• CWE 分类——将漏洞描述（CVE、安全公告）映射到 MITRE CWE 类别
• CTI 问答——回答关于网络安全概念、攻击、控制的结构化问题
• 防御性分流辅助——支持人工分析师分流 CVE、确定补丁优先级、记录威胁行为体行为

它明确不适用于：生成利用代码或武器化 PoC、无需合格人工审查自动执行安全决策、法律/医疗/受监管领域的建议，或网络安全之外的通用聊天/代码生成。该方案是为狭窄实用性而非广泛性而构建的。

未来展望

我们想扩展的几个方向，大致按优先级排序：

1. 1B 变体 用于笔记本电脑级部署。基于 Qwen2.5-1.5B 或 Llama-3.2-1B，相同方案，目标 CTI-RCM ≥0.55（在 4B 的 6 个点以内）。
2. 量化 GGUF 发布（Q4_K_M, Q5_K_M），以便模型在手机/边缘设备上运行。Q4_K_M 下约 2.5GB，完全在 ARM 笔记本电脑内存范围内。
3. 持续评估，随着新的 CVE 到 CWE 映射发布。2021 批次是有意选择的分布上限；未来版本将跟踪 NVD 的增长。
4. 对抗样本鲁棒性。专用模型的好坏取决于其最差情况。我们想针对 CVE 描述作为输入的常见提示注入模式发布一个加固版本。

如果其中任何一项能帮助你的团队，请在 GitHub 仓库提交 issue (https://github.com/GPT-64590/CyberSecQwen-4B/issues)——这是将它们优先处理的最快方式。

结语

关于前沿模型的讨论已经围绕规模持续了两年。防御性安全的讨论应该围绕什么适合你真正需要它的地方。 一个以一半大小匹配 8B 的 4B 专用模型，能在研究人员负担得起的显卡上运行，并且永远不会将敏感证据发送到本地以外——这是设计空间中一个有用的角落，而 AMD MI300X + ROCm 7 + Hugging Face 的训练栈使得在一次训练运行中占据这个角落成为可能。

试试演示，阅读模型卡 (https://huggingface.co/lablab-ai-amd-developer-hackathon/CyberSecQwen-4B)，提交 issue。如果该方案能移植到我们尚未尝试的平台上，那将是最有趣的后续数据点。

—— athena129 (https://huggingface.co/athena129) · AMD 开发者黑客松提交作品