微调前先诊断：面向网络安全问答的小型LLM诊断研究

# 微调前的诊断：面向网络安全问答的小型LLM的诊断研究  
来源：https://arxiv.org/html/2607.18725  
Shaswata Mitra¹, Subash Neupane², Trisha Chakraborty³, Himanshu Tripathi⁴, Sudip Mittal⁵, Aritran Piplai⁷, Shahram Rahimi⁶  
¹⁴⁵⁶阿拉巴马大学 – {1smitra3, 4htripathi, 5sudip\.mittal, 6shahram\.rahimi}@ua\.edu  
²梅哈里医学院 – 2subash\.neupane@mmc\.edu  
³密西西比州立大学 – 3tc2006@msstate\.edu  
⁷德克萨斯大学埃尔帕索分校 – 7apiplai@utep\.edu  

###### 摘要  

大型语言模型 \(LLMs\) 越来越多地被微调用于关键领域的问答 \(QA\)，然而，在承担适应成本之前，选择哪个小型模型进行适配仍然困难。微调可以改善领域对齐，但也可能侵蚀先验知识、削弱指令遵循能力或增加幻觉，尤其是在标签数据稀缺或快速演变的领域（如网络安全）。我们提出了 FiT \(Find before Fine-Tune\)，一个面向任务的诊断框架，该框架从小型 LLM 在网络安全问答所需的三种能力维度进行表征：词汇识别、参数化知识以及对检索信息的上下文化能力。利用 FiT，我们对五种开放的 70 亿参数模型在两个微调方案下进行了实证研究。我们发现微调并非总是有益的：它一致地降低了小型模型的词汇和参数化知识能力，且两种方案的效果不同。知识聚焦的微调会导致中度、*排名保持*的退化，而指令聚焦的微调则通过诱导的弃权行为导致测量到的知识崩溃，反转了知识排名，同时基本保留了基于检索的上下文化能力。我们通过秩相关分析量化了这些方案特定的模式，并表明微调前的 FiT 分数可以预测微调后变化的方向。我们的结果表明，面向任务的诊断可以筛选出不合适的模型，避免不必要的微调，并支持在网络安全问答流水线中更安全地部署小型 LLM。

## I. 引言  

大型语言模型 \(LLMs\) 在自然语言处理 \(NLP\) 领域取得了显著进展，展示了前所未有的语言理解和生成能力。许多行业的组织现在将 LLM 部署为特定领域的问答 \(QA\) 系统。在网络安全这一与关键基础设施和国家安全紧密相关的领域，错误的模型响应可能会触发攻击、促发入侵或泄露敏感信息，使得可靠部署尤为重要\[5 (https://arxiv.org/html/2607.18725#bib.bib31)\]。有效的网络安全问答要求模型具备领域词汇知识、专业知识，以及综合异质性检索信息的能力。考虑查询：*"LangChain 漏洞会影响我的系统吗？"* 正确回答需要关于 LangChain 漏洞类别的通用知识，以及用户部署版本的具体上下文意识。这两种信息类型本质上是不同的，但都对生成正确、不泄露信息的响应至关重要。

由于网络安全知识不断演变且标注数据稀缺，实践者通常将一个小型、可部署的 LLM 与检索增强生成 \(RAG\)\[13 (https://arxiv.org/html/2607.18725#bib.bib2)\] 相结合，并在数据允许时，将模型微调到部署范围。这引出了一个部署前的实际问题：*应该选择哪个*小型模型，以及*是否*微调会有所帮助。通过微调每个候选模型来进行实证回答，在计算和时间上都非常昂贵。因此，我们询问是否一个轻量级的、适应前的诊断可以指导这个选择。

参见图注 图1：FiT 在生成式 AI 生命周期中的实施范围（彩色区域表示适用性），以及我们三个评估任务的示例。通过将任务对齐到一个完整流程中，我们可视化为给定提示 \(P\mathcal{P}\) 生成完成 \(C\mathcal{C}\) 所需的领域适用性的传播。  
我们引入了 FiT，一个面向任务的诊断框架，用于表征小型 LLM 在知识密集型问答中的领域理解和上下文化能力。与现有网络安全基准（如 CYBERBENCH\[14 (https://arxiv.org/html/2607.18725#bib.bib35)\] 和 SecureBERT\[1 (https://arxiv.org/html/2607.18725#bib.bib55)\]）报告静态的、预训练性能不同，据我们所知，FiT 是第一个在*适应前*诊断小型 LLM 网络安全问答适用性，并表征微调如何重塑这种适用性的框架。我们不将 FiT 视作一个通用的预测性基准，而是将其作为一个透镜来研究*小型模型在两种不同的微调方案前后是如何表现的*，以便组织可以筛选候选者并预测调优后变化的方向。FiT 将适用性分解为三个方面（词汇、知识、上下文化），我们在网络安全领域实例化了这项研究¹¹¹代码和数据：github\.com/shaswata09/FiT。具体地，我们研究了三个研究问题：

- • **RQ1.** 一个轻量级的、适应前的诊断能否在不承担微调每个候选模型成本的情况下，沿着词汇、知识和上下文化三个维度表征小型 LLM 对网络安全问答的适用性？
- • **RQ2.** 知识聚焦和指令聚焦的微调方案如何改变小型 LLM 的这些能力？它们是否总能带来帮助？
- • **RQ3.** 微调前的 FiT 分数是否能足够紧密地预测微调后的行为，以指导模型选择并避免不必要的调优？

在解决上述研究问题 \(RQs\) 时，我们做出以下贡献：

- • 针对 RQ1，我们提出了 FiT，一种将网络安全问答适用性诊断性地分解为词汇、知识和上下文化的能力，并为每种能力提供度量指标。
- • 针对 RQ2，我们提出了一项实证研究，展示了知识聚焦和指令聚焦的微调如何在小规模 \(7B\) LLM 中权衡这些能力，包括我们通过秩相关分析量化的由弃权驱动的知识排名反转。
- • 针对 RQ3，我们展示了基于检索的上下文化能力对微调具有鲁棒性，并为在动态、低数据领域（如网络安全）中的模型选择提供了实用指导。

本文的其余部分组织如下。第二节 (https://arxiv.org/html/2607.18725#S2) 形式化问题。第三节 (https://arxiv.org/html/2607.18725#S3) 回顾背景和相关工作。第四节 (https://arxiv.org/html/2607.18725#S4) 详细介绍 FiT 任务。第五节 (https://arxiv.org/html/2607.18725#S5) 和第六节 (https://arxiv.org/html/2607.18725#S6) 介绍实验、发现和局限性，最后总结。

## II. 问题形式化  

在本节中，我们定义问题及其基础。我们首先描述实施范围，然后是评估任务；表I (https://arxiv.org/html/2607.18725#S2.T1) 总结了全文使用的符号。图1 (https://arxiv.org/html/2607.18725#S1.F1) 提供了范围和任务的视觉参考。

表I：符号描述  
| 符号 | 描述 |
| :--- | :--- |
| P\mathcal{P} | 用户输入提示 |
| {Nd∈N}\{\mathcal{N}^{d}\in\mathcal{N}\} | 领域特定词汇 |
| {Kd∈K}\{\mathcal{K}^{d}\in\mathcal{K}\} | 领域特定知识 |
| {Gid∣Gid∈Gd}\{\mathcal{G}_{i}^{d}\mid\mathcal{G}_{i}^{d}\in\mathcal{G}^{d}\} | 关于 P\mathcal{P} 的领域信息 |
| {Sid∣Sid∈Sd}\{\mathcal{S}_{i}^{d}\mid\mathcal{S}_{i}^{d}\in\mathcal{S}^{d}\} | 关于 Gid∪P\mathcal{G}_{i}^{d}\cup\mathcal{P} 的特定信息 |
| C\mathcal{C} | 对于给定 (Gid∪Sid)∣Kd(\mathcal{G}_{i}^{d}\cup\mathcal{S}_{i}^{d})\mid\mathcal{K}^{d} 的 P\mathcal{P} 的完成 |
| Nid‾,Ci‾\overline{\mathcal{N}_{i}^{d}},\ \overline{\mathcal{C}_{i}} | 真实（预期）输出 |
| L\mathcal{L} | 被评估的 LLM |
| Φ(⋅∣P)\Phi(\cdot\mid\mathcal{P}) | 关于 P\mathcal{P} 的任务适用性得分 |

在一个典型的知识密集型、关键领域的 QA 任务中，使用带 RAG 的 LLM，目标是为给定提示 \(P\mathcal{P}\) 生成相关的完成 \(C\mathcal{C}\)，同时不泄露敏感信息。无论部署领域如何，生成 \(C\mathcal{C}\) 主要需要两种类型的信息。一种是关于 \(P\mathcal{P}\) 的领域特定信息 \(G_i^d\mathcal{G}_{i}^{d}\)；另一种是将 \(G_i^d\mathcal{G}_{i}^{d}\) 针对 \(P\mathcal{P}\) 进行上下文化的上下文或特定信息 \(S_i^d\mathcal{S}_{i}^{d}\)。然后 LLM 结合其领域词汇 \(N^d\mathcal{N}^{d}\) 和知识 \(K^d\mathcal{K}^{d}\) 来生成 \(C\mathcal{C}\)。为了在此范围内评估 LLM 的上下文化能力，我们采用面向过程的分解方式，将其分为三个任务，每个任务对应一种独特的能力：

1.  **词汇**：我们通过一个关键词识别任务来评估模型对领域词汇的熟悉程度，该任务指示 LLM 识别输入提示 \(P\mathcal{P}\) 中的重要关键词 \(N_i^d\mathcal{N}_{i}^{d}\)。
2.  **知识**：我们通过一个多项选择问答任务来评估模型的领域知识 \(K^d\mathcal{K}^{d}\)，探究模型的领域理解能力。
3.  **上下文化**：我们评估 LLM 是否能理解和调整 \(G_i^d\mathcal{G}_{i}^{d}\)，并结合 \(S_i^d\mathcal{S}_{i}^{d}\) 为 \(P\mathcal{P}\) 生成 \(C\mathcal{C}\)，而不泄露不必要的信息。

这种分解使我们能够从相关性和可靠性角度表征 LLM 对关键领域问答的适用性。我们进一步分析了每种能力在微调后的变化，以识别行为变化的系统模式。正如我们所示，这些模式是方案依赖的，理解它们有助于实践者决定是否以及如何对给定模型进行微调，并相应地整理数据。

## III. 预备知识  

预训练 LLM 在专业领域的应用一直是一个活跃的研究领域\[20 (https://arxiv.org/html/2607.18725#bib.bib59)\]。我们简要回顾所需的背景知识和相关进展。

### III-A LLM、RAG 与微调  

LLM 通过变压器架构\[24 (https://arxiv.org/html/2607.18725#bib.bib20)\] 推动了 NLP 的发展，该架构提供了卓越的并行化能力\[17 (https://arxiv.org/html/2607.18725#bib.bib38)\]。这些模型在大量互联网文本上进行预训练，拥有庞大的参数数量，展现出强大的学习能力，然而，它们可能产生看似合理但不准确的预测，并且在需要专业领域知识的问题上表现挣扎。报告的原因\[25 (https://arxiv.org/html/2607.18725#bib.bib39)\] 包括通用 LLM 在封闭领域中失败的*领域知识缺陷*（缺乏对专业领域的接触）、*信息过时*（训练截止日期使模型无法了解训练后的发展）以及*遗忘*（在额外训练期间发生灾难性遗忘\[11 (https://arxiv.org/html/2607.18725#bib.bib40)\]，导致先前知识丢失）。

为了缓解领域特定任务的知识不足，需要额外的知识摄入步骤。两种最常见的方法是检索增强生成 \(RAG\) 和微调。RAG 由 Lewis 等人\[13 (https://arxiv.org/html/2607.18725#bib.bib2)\] 提出，利用外部知识库（文档语料库、结构化数据库或任何领域信息来源）来克服预训练 LLM 的知识限制。给定输入查询，RAG 架构检索最相关的段落并将其整合到输入中，为 LLM 提供额外的上下文。

参见图注 图2：FiT 评估过程的流程图。三个任务与部署范围对齐：任务1评估词汇，任务2评估领域知识，任务3评估相关、可靠生成的上下文化能力。  
随着模型规模的增长，更新所有参数在计算上变得要求高且成本高昂，尤其是在硬件有限的情况下。这激发了参数高效调优方法的发展，这些方法旨在以最小化可调参数数量为目标，实现强大的任务性能。