SMETA-ZSL:用于零样本威胁分类的语义元对齐

# SMETA-ZSL：用于零样本威胁分类的语义元对齐

来源：https://arxiv.org/html/2607.09936
Ivan Alejandro Montoya Sanchez, Anantaa Kotal, Aritran Piplai 德克萨斯大学埃尔帕索分校 美国德克萨斯州埃尔帕索市大学大道西500号，邮编79968 [email protected], \{akotal,apiplai\}@utep.edu

###### 摘要

网络安全系统必须快速适应新出现的威胁。然而，当这些威胁首次出现时，新威胁类别的标注数据并不可用。广义零样本学习通过利用辅助语义知识而非标注样本识别未见类别，为此提供了一种自然的解决方案。大型语言模型在此场景下尤其有前景，因为它们能够将非结构化的CTI报告转化为新兴威胁的语义原型。然而，将语言驱动的零样本学习应用于网络安全领域存在诸多困难：威胁描述之间存在强烈的语义重叠、行为属性与文本之间的异质性、严重的类别不平衡，以及在训练阶段未知的开放集条件。我们提出了SMETA-ZSL，该方法通过对比微调从重叠的语言描述中学习语义原型，通过情景元学习和知识蒸馏对齐行为特征，并执行自适应路由以在可见-未见类别间泛化。在7个基准数据集上，SMETA-ZSL在最严格的归纳设置下取得了最强的整体广义零样本性能，平均超过先前方法10.8个百分点，最高提升达18.1个百分点。Github:https://github.com/Security-And-Intelligence-Lab-UTEP/SMETA-ZSL

## 1 引言

网络防御系统依赖大量原始数据（如恶意软件样本或日志）来训练和更新模型，然而这些数据通常难以获取、分析缓慢，并且在新的威胁出现时并非总是可用。以恶意软件分类任务为例：新变种和家族的持续出现（Tang等人，2023 (https://arxiv.org/html/2607.09936#bib.bib57)）要求分类器频繁重新训练，这带来了巨大的计算开销（Li等人，2024a (https://arxiv.org/html/2607.09936#bib.bib58)），并且使得获取及时的标注数据以适配新威胁变得困难（Barros等人，2022 (https://arxiv.org/html/2607.09936#bib.bib15); Aurna等人，2025 (https://arxiv.org/html/2607.09936#bib.bib31)）。相比之下，网络威胁情报（CTI）报告由分析师定期发布，提供了攻击行为的及时自然语言描述。然而，大多数防御系统并不处理自然语言，因此无法直接利用CTI来调整或更新其行为，导致有价值的情报未被充分利用。大型语言模型提供了一种处理CTI并提取信息供下游系统使用的途径。先前的工作（Chakraborty等人，2026 (https://arxiv.org/html/2607.09936#bib.bib61); Mitra等人，2025 (https://arxiv.org/html/2607.09936#bib.bib62); Bertiger等人，2025 (https://arxiv.org/html/2607.09936#bib.bib63); Schwartz等人，2025 (https://arxiv.org/html/2607.09936#bib.bib65)）主要专注于利用LLMs生成基于规则的防御。相比之下，利用CTI更新数据驱动的黑盒机器学习系统则困难得多，因为这需要将文本描述转化为能够影响模型行为的信号，而无需访问原始数据。这一差距引出了一个重要的语言建模问题：语言模型能否将非结构化的威胁报告转化为可用于更新非语言机器学习系统的表示，即使不存在新威胁的任何标注样本？直接使用LLMs进行零样本恶意软件或攻击检测是具有挑战性的，因为网络安全工件通常体积过大，难以完整分析，导致推理成本高昂且经常超出实际上下文窗口限制（Qian等人，2025 (https://arxiv.org/html/2607.09936#bib.bib4)）。将这些工件截断为抽象特征会降低性能（Zhou等人，2024 (https://arxiv.org/html/2607.09936#bib.bib2)）。因此，目标是利用语言模型从CTI中提取并转移知识，以适配现有的网络防御系统。

我们将此问题形式化为一个广义零样本学习（GZSL）设置，其中下游机器学习模型必须同时识别可见和未见类别，而网络威胁情报为未见威胁提供语义信息。尽管带有语义辅助信息的GZSL在广义设置中已被广泛探索，例如视觉-语言领域（Chen等人，2023 (https://arxiv.org/html/2607.09936#bib.bib17); Ma and Hu, 2020 (https://arxiv.org/html/2607.09936#bib.bib28); Rao等人，2024 (https://arxiv.org/html/2607.09936#bib.bib16); Lei等人，2024 (https://arxiv.org/html/2607.09936#bib.bib24)），但其在网络安全中的应用仍然是一个未解决且极具挑战性的难题，尽管具有重要的实际意义。该设置中的独特挑战如下：

1. 1.**类别原型的语义模糊性：** 与具有可区分语义特征的广义领域不同，网络安全依赖的CTI报告的描述在不同恶意软件家族之间常常高度重叠。不同的家族经常共享API、行为模式和攻击技术，使得语义原型的可分离性较弱，并降低了对未见类别的迁移能力。图1 (https://arxiv.org/html/2607.09936#S1.F1) 说明了这一挑战。
2. 2.**跨模态异质性：** 恶意软件特征来源于行为观察，如API调用、系统追踪和网络流量。这些特征与CTI报告稀疏、高层次的语义存在显著差异，使得特征空间与语义空间的对齐变得困难。
3. 3.**类别不平衡：** 可见类别的优势已经是GZSL中的一个主要挑战。在网络安全领域，这一点因严重的不平衡而加剧：良性样本占主导地位，而新兴的恶意软件家族则很少见，导致预测偏向于频繁出现的可见类别。
4. 4.**开放集分类：** 在实践中，未见恶意软件家族的数量和身份在训练期间是未知的。因此，模型必须能够在没有预先假定一组固定的候选未见类别的情况下，区分可见和未见威胁。

我们提出了**SMETA-ZSL**，这是一个语义驱动的元GZSL框架，专为实际的网络威胁场景设计，其中未见类别在训练期间未预先定义，未见实例的未标注数据不可用，并且适配必须仅依赖于自然语言的CTI报告而非原始工件。与假设封闭集、可访问原始未见类别数据或预定义未见原型的先前方法不同，SMETA-ZSL在更严格的**开放集、类别归纳、实例归纳**设置下运行。为了解决由此产生的挑战，我们的框架结合了：(1) 对比微调的LLM编码器，从重叠的CTI描述中产生具有判别性的语义原型；(2) 跨模态对齐框架，使用情景元学习在训练期间显式模拟未见类别的出现；以及 (3) 用于自适应推理的无参数门控机制。在7个基准数据集上，SMETA-ZSL在最严格的归纳设置下取得了最强的整体广义零样本性能。

参照图注 图 1：两个不同恶意软件家族（Mobidash 和 Dowgin）的 CTI 报告在行为描述上具有大量的词汇重叠，说明了为什么网络安全类别原型在语义空间中难以分离。
## 2 背景

ZSL解决了识别训练期间从未见过的类别实例的问题（Pourpanah等人，2022 (https://arxiv.org/html/2607.09936#bib.bib35); Wang等人，2019 (https://arxiv.org/html/2607.09936#bib.bib34)）。在GZSL中，分类器必须同时操作于可见和未见类别的并集（Li等人，2024b (https://arxiv.org/html/2607.09936#bib.bib25); Verma等人，2020 (https://arxiv.org/html/2607.09936#bib.bib21)），这因可见类别的优势而更加困难——在推理时，可见类别的后验概率系统地压倒未见类别（Kwon and Al Regib, 2022 (https://arxiv.org/html/2607.09936#bib.bib60); Bhat等人，2025 (https://arxiv.org/html/2607.09936#bib.bib59); Xian等人，2017 (https://arxiv.org/html/2607.09936#bib.bib36)）。由于训练期间从未观察到未见类别，ZSL方法依赖辅助语义信息来弥合差距。受人类认知的启发（通过背景知识将不熟悉的概念与熟悉的概念联系起来）（Fu等人，2015 (https://arxiv.org/html/2607.09936#bib.bib39); Romera-Paredes and Torr, 2015 (https://arxiv.org/html/2607.09936#bib.bib33); Tang等人，2024 (https://arxiv.org/html/2607.09936#bib.bib27); Li等人，2024b (https://arxiv.org/html/2607.09936#bib.bib25); Sanchez等人，2025 (https://arxiv.org/html/2607.09936#bib.bib3)），现有方法大致分为三类：学习模态与语义表示之间的联合嵌入空间（Ali and Khan, 2023 (https://arxiv.org/html/2607.09936#bib.bib32); Nawaz等人，2022 (https://arxiv.org/html/2607.09936#bib.bib26); Chen等人，2023 (https://arxiv.org/html/2607.09936#bib.bib17); Lei等人，2024 (https://arxiv.org/html/2607.09936#bib.bib24)），从语义描述中合成生成未见类别数据（Mishra等人，2018 (https://arxiv.org/html/2607.09936#bib.bib37); Ma and Hu, 2020 (https://arxiv.org/html/2607.09936#bib.bib28); Tang等人，2024 (https://arxiv.org/html/2607.09936#bib.bib27); Wu and Bergman, 2025b (https://arxiv.org/html/2607.09936#bib.bib23); Marszałek等人，(https://arxiv.org/html/2607.09936#bib.bib18)），以及学习语义原型（Wang等人，2025a (https://arxiv.org/html/2607.09936#bib.bib19); Fu等人，2017 (https://arxiv.org/html/2607.09936#bib.bib55); Wang等人，2021 (https://arxiv.org/html/2607.09936#bib.bib56); Rao等人，2024 (https://arxiv.org/html/2607.09936#bib.bib16); Fan等人，2026 (https://arxiv.org/html/2607.09936#bib.bib30); Gill and others, 2026 (https://arxiv.org/html/2607.09936#bib.bib20)）。其中，语义原型方法特别适用于具有类别级描述但缺少未见类别实例级数据的场景。ZSL也被应用于特定领域，包括网络安全，其中专门的框架在数据稀缺的情况下解决恶意软件检测问题（Barros等人，2022 (https://arxiv.org/html/2607.09936#bib.bib15); Wang等人，2025b (https://arxiv.org/html/2607.09936#bib.bib29); Aurna等人，2025 (https://arxiv.org/html/2607.09936#bib.bib31)）。

## 3 方法

我们提出了SMETA-ZSL，一个用于表格数据分类的语义驱动GZSL框架。我们的核心假设是，语言模型在适当微调后，可以作为重叠自然语言描述与细粒度行为属性之间可靠的语义桥梁，通过显式对齐异构模态的情景元训练，实现对未见类别的零样本识别。图2 (https://arxiv.org/html/2607.09936#S3.F2) 展示了我们提出的框架总览。

参照图注 图 2：我们提出的 SMETA-ZSL 框架概览，该框架在语义描述重叠且抽象层次较高时，使用语义原型进行 GZSL。
### 3.1 预备知识

在零样本学习中，有两个不相交的类别集合：可见类别S\\mathcal\{S\}，有对应的标注训练实例；以及未见类别U\\mathcal\{U\}，在训练时没有标注实例。具体在GZSL中，分类器f\(⋅\):X→S∪Uf\(\\cdot\):\\mathcal\{X\}\\rightarrow\\mathcal\{S\}\\cup\\mathcal\{U\}必须操作于可见和未见类别的并集。每个类别c∈S∪Uc\\in\\mathcal\{S\}\\cup\\mathcal\{U\}由一个原型向量t∈T⊆RMt\\in\\mathcal\{T\}\\subseteq\\mathbb\{R\}^\{M\}表示，该向量通过一个原型函数π\(⋅\):S∪U→T\\pi\(\\cdot\):\\mathcal\{S\}\\cup\\mathcal\{U\}\\rightarrow\\mathcal\{T\}编码。由此得到可见类别的原型集Ts=\{tis\}i=1Ns\\mathcal\{T\}\_\{s\}=\\\{t^\{s\}\_\{i\}\\\}\_\{i=1\}^\{N\_\{s\}\}和未见类别的原型集Tu=\{tiu\}i=1Nu\\mathcal\{T\}\_\{u\}=\\\{t^\{u\}\_\{i\}\\\}\_\{i=1\}^\{N\_\{u\}\}，作为知识从S\\mathcal\{S\}迁移到U\\mathcal\{U\}的语义桥梁。给定一个测试实例xix\_\{i\}，一个投影网络fθ:X→Tf\_\{\\theta\}:\\mathcal\{X\}\\rightarrow\\mathcal\{T\}将其映射到共享语义空间，预测的类别由最近原型匹配确定：

y^i=arg⁡maxc∈S∪U⁡fθ\(xi\)⋅tc‖fθ\(xi\)‖‖tc‖\\hat\{y\}\_\{i\}=\\arg\\max\_\{c\\in\\mathcal\{S\}\\cup\\mathcal\{U\}\}\\frac\{f\_\{\\theta\}\(x\_\{i\}\)\\cdot t\_\{c\}\}\{\\\|f\_\{\\theta\}\(x\_\{i\}\)\\\|\\\|t\_\{c\}\\\|\} (1)
网络安全设置引入了两个超出标准GZSL的结构性约束。首先，我们在**开放集**假设下操作：与S∪U\\mathcal\{S\}\\cup\\mathcal\{U\}完全预定义的封闭集GZSL不同，只有S\\mathcal\{S\}在训练时是已知的。未见类别U\\mathcal\{U\}，包括其基数\|U\|=Nu\|\\mathcal\{U\}\|=N\_\{u\}和身份\{ciu\}i=1Nu\\\{c^\{u\}\_\{i\}\\\}\_\{i=1\}^\{N\_\{u\}\}，仅在推理时显现，这反映了现实世界中新型恶意软件家族无法提前预知的场景。其次，我们采用**类别归纳、实例归纳** (CIII) 设置（Pourpanah等人，2022 (https://arxiv.org/html/2607.09936#bib.bib35)），在此设置下，模型仅使用Dtr\\mathcal\{D\}\_\{tr\}和Ts\\mathcal\{T\}\_\{s\}进行训练，训练期间无法访问Tu\\mathcal\{T\}\_\{u\}。未见原型仅在推理时可用，作为模型泛化到新的未见类别的语义桥梁。在网络安全领域，这座桥梁由网络威胁情报（CTI）报告构建而成——这些报告是由专家撰写的非结构化文档，描述了每个威胁类别的行为签名、战术和技术。我们的目标是确保知识能够从S\\mathcal\{S\}可靠地迁移到U\\mathcal\{U\}，尽管这些报告引入了语义重叠和跨模态异质性，而SMETA-ZSL正是直接应对这一挑战。

### 3.2 使用LLM的判别性语义原型学习

**用于语义原型构建的LLM：** LLM是构建语义原型的天然候选：给定一个类别的自然语言描述，预训练编码器可以将文本映射到一个捕捉其语义内容的密集向量。这些向量作为T\\mathcal\{T\}中的类别原型，提供了每个类别的表示。然而，直接用预训练语言模型编码CTI报告会产生可分离性较弱的原型，因为不同类别的威胁描述经常共享结构性词汇和领域特定术语，导致它们的嵌入聚集在一个共享的中心附近，而不是反映类别判别结构。

**监督对比目标：** 令zi∈RMz\_\{i\}\\in\\mathbb\{R\}^\{M\}表示语言模型产生的描述样本ii的L2归一化嵌入。为了在语言模型的表示空间中强制执行类内紧凑性和类间分离性，我们使用监督对比损失（Khosla等人，2020 (https://arxiv.org/html/2607.09936#bib.bib66)）对其进行优化，该损失将同一类别的描述拉近，同时推