蒸馏快速嵌入迁移 (DRET)：通过基于优先级的嵌入迁移实现参数高效的生物医学领域适应

# 基于优先级的嵌入迁移实现参数高效的生物医学领域适配
来源：https://arxiv.org/html/2609.02898
Girish Sundaram 博士 信息科学系 阿肯色大学小石城分校，美国阿肯色州小石城，[email protected]
Daniel Berleant 博士 信息科学系 阿肯色大学小石城分校，美国阿肯色州小石城，[email protected]

###### 摘要

BioBERT 和 ClinicalBERT 等大型领域专用语言模型在生物医学自然语言处理任务上表现优异，但其计算需求使得它们在许多实际部署中并不实用。DistilBERT 等通用、参数高效的模型轻巧灵活，却缺乏完成 PICO（人群、干预措施、对照、结局）分类等专业任务所需的领域知识。本文介绍了蒸馏快速嵌入迁移（DRET），这是一种知识迁移范式，能将大型专业模型中的生物医学领域知识注入到一个更小的通用模型中，**而无需**在原始专业语料库上重新训练。DRET 被开发为一系列迭代策略：统一的分词器合并策略（DRET 1.x）、混合嵌入平均（DRET 2.0），以及一种*基于优先级的嵌入迁移*机制（DRET 3.x），该机制分层选择来自最权威源模型的嵌入，并进一步结合嵌入层冻结、差异化学习率、标签传播和感知类别不平衡的损失函数（DRET 4.x）。我们在 EBM-NLP 语料库上，使用严重的类别不平衡数据，通过十二项指标对 DRET 在词元级 PICO 分类任务上进行了评估。增强后的 DRET DistilBERT（66M 参数）在平衡准确率、召回率和 ROC-AUC 方面取得了与规模大一个数量级的模型相当甚至在某些类别指标上更优的表现，同时保持了 DistilBERT 的效率。我们进一步通过余弦相似度、语义偏移和 t-SNE 分析证明，迁移发生在嵌入层。DRET 为生物医学文本挖掘提供了一条可扩展、资源高效的路径，使其能够达到接近领域专家的性能，可直接应用于自动化系统性文献综述和临床决策支持。

关键词：生物医学自然语言处理，领域适配，知识迁移，参数高效模型，PICO 分类，DistilBERT，类别不平衡，嵌入迁移。

## 1 引言

生物医学自然语言处理（NLP）的进步显著提升了从非结构化临床文本中提取结构化知识的能力，这是循证医学（EBM）的核心能力。然而，一个持续存在的障碍是将通用语言模型高效地适配到特定生物医学任务上。一个典型例子是*PICO 分类*——在临床文献中识别人群、干预措施、对照和结局元素——它支撑着系统性文献综述（SLR）和临床问答。尽管 BioBERT\[1\] 和 ClinicalBERT\[2\] 等大型领域专用模型在这些任务上表现良好，但其规模和计算要求限制了其在资源受限环境中的部署。

BERT-base\[9\]，尤其是蒸馏版的 DistilBERT\[10\] 等通用模型计算负担较轻，但缺乏准确进行 PICO 分类所需的生物医学知识。传统的适配方法——在大规模生物医学语料库上进行全量微调——由于计算成本、标注数据有限以及临床文本的隐私限制，常常不可行。

#### 贡献

为了弥合这一差距，我们引入了蒸馏快速嵌入迁移（DRET），这是一种用于参数高效生物医学领域适配的知识迁移范式。具体而言：
1. 我们提出了一种*基于优先级的嵌入迁移*策略，该策略使用分层优先规则，将多个生物医学源模型的词汇和嵌入整合到一个紧凑的通用模型中，避免了朴素嵌入平均可能导致的语义稀释（第4节）。
2. 我们开发了一系列迭代变体（DRET 1.0 至 DRET 4.2），逐步引入了嵌入层冻结、差异化学习率、标签传播和感知不平衡的损失函数，并表征了每个变体所导致的权衡（第6节）。
3. 我们在严重的类别不平衡条件下，针对 EBM-NLP PICO 分类进行了全面的十二项指标评估，并与领域专用模型、基础模型和 BLURB 基准模型进行了比较（第6节）。
4. 我们通过余弦相似度、语义偏移、成对词元距离和 t-SNE 可视化，量化了*是否*在嵌入层发生了知识迁移（第7节）。

DRET 使得一个 66M 参数的模型能够在不访问原始专用训练数据的情况下，接近规模大其数倍的模型的领域能力，从而降低了生物医学文本挖掘、SLR 自动化和临床决策支持的计算与数据需求。

## 2 相关工作

#### 生物医学语言模型。

领域自适应预训练产生了一系列生物医学 BERT 变体：BioBERT\[1\]（PubMed/PMC）、ClinicalBERT\[2\]（MIMIC-III）、BlueBERT\[3\]、SciBERT\[4\]、Med-BERT\[5\] 和 BiomedBERT\[6\]。BLURB 基准\[7\]汇总了生物医学任务，并托管了如 BioLinkBERT\[8\] 这样的强大模型。这些模型精确但庞大。

#### 效率与迁移。

DistilBERT\[10\] 及相关的参数高效方法降低了推理成本，而迁移学习技术\[11\] 加速了适配过程。我们早期的工作\[14\] 调查了利用 NLP 和文本挖掘进行 SLR 自动化的先前研究。DRET 与蒸馏和全量微调的不同之处在于，它将*嵌入层*的领域知识从多个源模型迁移到一个紧凑的目标模型中，而无需在源语料库上重新训练。

## 3 任务、数据集与模型

#### PICO 分类。

我们将 PICO 抽取定义为词元级序列标注任务。每个词元被分配到四个类别之一——I-PAR（参与者/人群）、I-INT（干预/对照）、I-OUT（结局）或 O（不属于任何 PICO 实体）。

#### 数据集。

我们使用 EBM-NLP 语料库\[13\]，该语料库包含约 5,000 篇临床试验医学摘要，标注了 PICO 元素，格式为 CoNLL。该语料库表现出*严重的类别不平衡*（图1）：O 类占主导地位（约 9×10^5 个词元），而 PICO 相关词元相对稀少。这种不平衡促使我们报告感知不平衡的指标，并在 DRET 4.x 中引入处理不平衡的变体。
参考标题图 1：EBM-NLP PICO 语料库的类别分布。O（实体外）类占主导地位，而 PICO 相关类（I-PAR、I-INT、I-OUT）严重代表性不足，这推动了不平衡感知评估和损失函数的设计。
#### 模型。

表1列出了用作嵌入来源（领域专用）、适配目标（基础）和强参考基准（BLURB）的模型。
表 1：本研究中使用的模型：领域专用来源、基础目标和 BLURB 基准。架构以 Transformer 层数/隐藏层大小给出。
模型 | 类型 | 架构 | 预训练数据 | 大小
--- | --- | --- | --- | ---
BioBERT | 领域 | 12L/768H | PubMed + PMC | 400M
ClinicalBERT | 领域 | 12L/768H | MIMIC-III | 110M
BlueBERT | 领域 | 12L/768H | PubMed + MIMIC | 110M
SciBERT | 领域 | 12L/768H | Semantic Scholar | 110M
Med-BERT | 领域 | 12L/768H | EHR数据 | 110M
BiomedBERT | 领域 | 12L/768H | PubMed + PMC | 110M
BERT-base | 基础 | 12L/768H | Wikipedia + Books | 110M
DistilBERT | 基础 | 6L/768H | Wikipedia + Books | 66M
BioLinkBERT | BLURB | 24L/1024H | PubMed + PMC + 链接 | 380M
BioMElectra | BLURB | 24L/1024H | PubMed + PMC | 335M

## 4 DRET 方法

DRET 通过从领域专用源模型导入词汇和嵌入，然后进行微调，来适配一个紧凑的基础模型（DistilBERT）。该方法经历了三个概念阶段——词汇合并（1.x）、嵌入平均（2.0）和基于优先级的迁移（3.x）——随后是优化变体（3.0.1–3.3）和感知不平衡的损失函数（4.x）。贯穿始终的设计原则是：在尽可能多地将生物医学语义导入目标嵌入空间的同时，保持基础模型的通用能力和效率。

### 4.1 DRET 1.0：统一分词器合并策略

从六个领域专用模型（BioBERT、ClinicalBERT、BlueBERT、SciBERT、Med-BERT、BiomedBERT）中提取词汇，并使用有序字典合并为单一词汇表以消除重复词元。合并后的词汇被添加到 DistilBERT 分词器中，嵌入矩阵被调整以适应扩展的词汇。新添加的词元获得随机初始化的嵌入；现有的预训练嵌入被保留。此阶段扩展了词汇覆盖范围——减少了生物医学术语的词表外碎片化问题——而不修改现有嵌入，依赖后续微调来学习新词元。变体 DRET 1.1 和 DRET 1.2 在 ClinicalBERT/DistilBERT 和 BERT 骨干上应用了此策略，并附加了数据增强（RCT 数据）。

### 4.2 DRET 2.0：混合嵌入平均

DRET 2.0 扩展了词汇合并，使用从六个源模型中提取的*平均*嵌入来初始化新词元，而非随机向量。对于每个词元，提取源嵌入并取平均值，生成的向量被整合到目标嵌入矩阵中。平均为新词元提供了语义上合理的表示，但均匀平均可能会稀释最强的源信号——这促使了基于优先级的方案的提出。

### 4.3 DRET 3.0：基于优先级的嵌入迁移

DRET 3.0 用*分层优先*规则取代了平均。源模型根据其展示的生物医学能力进行排名（BioBERT >> ClinicalBERT >> BlueBERT >> BiomedBERT）。对于每个词元：
- • 如果该词元出现在多个源模型中，则选择最高优先级源模型的嵌入；
- • 如果该词元对于合并后的词汇是新的，则将其与当前优先级源模型的嵌入一起添加；
- • 没有领域嵌入的词元被随机初始化。

目标嵌入矩阵从 DistilBERT 初始化，并通过按优先级顺序迭代遍历源模型进行更新，相应地替换或添加嵌入，然后调整大小以适应扩展的词汇。表2报告了由此产生的贡献：词汇量几乎翻倍（30,522 → 58,890 个词元；添加了 28,368 个），30,522 个原始嵌入被生物医学嵌入覆盖。BioBERT 占主导地位（添加 10,405 个词元，修改 18,591 个）；BiomedBERT 贡献了最多的*新*词元（17,963）；ClinicalBERT 没有添加任何内容，表明其与更高优先级的源模型词汇重叠严重。图2可视化了这些各源模型的贡献。
参考标题图 2：基于优先级的 DRET 3.0 嵌入迁移中各源模型的贡献。BioBERT（最高优先级）在词元添加和嵌入修改方面均占主导；BiomedBERT 贡献了最多的*新*词元；ClinicalBERT 被更高优先级的源模型完全涵盖。
表 2：基于优先级的嵌入迁移中 DRET 3.0 源模型的贡献（优先级顺序：BioBERT >> ClinicalBERT >> BlueBERT >> BiomedBERT）。

### 4.4 优化变体（DRET 3.0.1–3.3）

在基于优先级迁移的基础上，引入了几项优化：

DRET 3.0.1 — 嵌入层冻结。在微调期间冻结迁移后的嵌入层，以防止新导入的生物医学知识被梯度更新覆盖。

DRET 3.1 — 差异化学习率 + 动态类别权重。逐层学习率（嵌入层低，Transformer 层中等，分类器头部高）在保留基础知识的同时允许任务适配\[11\]；与类别频率成反比的动态类别权重用于对抗不平衡。

DRET 3.2 — + 标签传播。子词分词会拆分术语（例如，“hypertension” → “hyper” + “##tension”），而屏蔽非初始子词元（-100）的标准做法会丢弃监督信号。标签传播则将词元标签复制到其所有子词元，在训练过程中保留语义连续性。

DRET 3.3 — 仅优先级迁移 + 标签传播。一项消融实验，将标签传播与动态权重和差异化学习率分离开来。

### 4.5 感知不平衡的损失函数（DRET 4.0–4.2）

最终的变体通过损失函数直接针对占主导地位的 O 类不平衡：

DRET 4.0 — 加权交叉熵。类别权重 w_i 提高少数类别的权重，使其对损失有显著贡献，防止多数类别崩溃。

DRET 4.1 — 手动调整权重。经验调整的权重 w = {1.0, 1.0, 0.25, 1.0} 仅降低主导 O 类别的权重，避免了严格按频率倒数加权可能导致的训练不稳定。

DRET 4.2 — 加权交叉熵 + 焦点损失。焦点损失\[12\]降低了易分类样本的贡献，将学习集中在难例上，提升了对稀少但临床重要的类别的召回率。

## 5 实验设置

所有模型都在词元级 PICO 分类上使用 3 折交叉验证进行评估。考虑到类别不平衡，我们报告十二项指标：准确率、平衡准确率、马修斯相关系数（MCC）、科恩's κ、F1、F2、特异性、精确率、召回率、几何均值（G-mean）、ROC-AUC 和 PR-AUC。我们还报告 I-PAR、I-INT、I-OUT 和 O 的类别级指标，并检查混淆矩阵、精确率-召回率曲线和 ROC 曲线。我们强调平衡准确率、G-mean、PR-AUC 和类别级召回率，因为总体准确率被占主导的 O 类别所抬高。

## 6 结果

### 6.1 基准（阶段1）

表3确立了领域专用、基础和 BLURB 模型的参考性能。BLURB 模型在总体指标上领先（BioMElectra 的平衡准确率最高，为 0.792），领域专用模型紧密聚集，并且——值得注意的是——未经调整的 DistilBERT 在总体指标上已接近领域模型，为嵌入层适配弥合类别差距留下了空间。
表 3：阶段1 在 EBM-NLP PICO 分类上的基准总体指标（选定列）。每列最佳值以粗体显示。

### 6.2 DRET 迭代开发

表4报告了具有代表性的 DRET 变体。出现了三种模式：
- • 对紧凑目标进行基于优先级的迁移是有效的。在 BERT 上的 DRET 1.2.1 达到了...