利用更优词元加速学习：面向专业文本摘要的参数高效词表适配

# 通过更好的词元实现更快学习：面向专业文本摘要的参数高效词汇适配
来源：https://arxiv.org/html/2605.17379
Gunjan Balde¹，Soumyadeep Roy²，Mainack Mondal¹ 和 Niloy Ganguly¹  
¹印度理工学院克勒格布尔分校计算机科学与工程系  
²斯坦福大学医学院（生物医学信息学），美国加利福尼亚州斯坦福  
通讯作者：[email protected] (https://arxiv.org/html/2605.17379v1/mailto:[email protected])

###### 摘要

在通用领域语料上预训练的大语言模型，当应用于专业领域时，常常表现出分词效率低下的问题。尽管面向领域适配的持续预训练能在一定程度上缓解性能下降，但并未解决根本性的词汇不匹配问题。为弥补这一空白，我们提出了一种针对性的参数高效领域适配方法，该方法将词汇适配与预训练相结合，用于基于LLM的文本摘要。我们的统一框架通过新增领域专用词元来扩充预训练分词器，同时选择性替换训练不足和不可达的词元，以控制参数增长。我们在Llama-3.1-8B和Qwen2.5-7B上，针对法律和医学摘要任务进行了评估，采用了一个以挑战为导向的评估协议，重点关注专家驱动的文本和摘要——这类场景通常包含更高浓度的碎片化词汇外（OOV）单词。词汇适配算法通过提升生成摘要与参考摘要之间的语义相似度，增强了摘要模型的整体质量。此外，适配后的模型生成的摘要包含了更多恰当的新颖领域专用词，从而改善了连贯性、相关性和忠实度。我们进一步观察到，我们提出的方法相较于持续预训练，能显著缩短35-55%的训练时间，并且相较于仅扩展词汇的方法，参数数量减少了高达37%。我们将代码库公开发布在https://github.com/gb-kgp/VocabReplace-Then-Expand。

通过更好的词元实现更快学习：面向专业文本摘要的参数高效词汇适配

Gunjan Balde¹，Soumyadeep Roy²，Mainack Mondal¹ 和 Niloy Ganguly¹  
¹印度理工学院克勒格布尔分校计算机科学与工程系  
²斯坦福大学医学院（生物医学信息学），美国加利福尼亚州斯坦福  
通讯作者：[email protected] (https://arxiv.org/html/2605.17379v1/mailto:[email protected])

††脚注：这是作者版的手稿。此处发布仅供个人使用。不得重新分发。将发表于第64届计算语言学协会年会（ACL 2026，主会）。

## 1 引言

尽管大语言模型（LLMs）彻底改变了自然语言处理，但由于通用语料与专业领域语料之间存在严重的词汇不匹配，将通用模型适配到专家领域仍具挑战性。近期的一些领域专用模型，包括基于Mistral-7B并在PubMed Central上进一步预训练的Meditron-70B（Chen等人，2023（https://arxiv.org/html/2605.17379#bib.bib62)）和BioMistral（Labrak等人，2024（https://arxiv.org/html/2605.17379#bib.bib55)），以及PMC-LLaMA（Wu等人，2024（https://arxiv.org/html/2605.17379#bib.bib72)），表明在专业语料上持续预训练能带来实质性的性能提升。然而，词汇不匹配从根本上限制了这些提升：PubMedBERT（Gu等人，2021（https://arxiv.org/html/2605.17379#bib.bib73)）证明，像“naloxone”这样的医学术语会被分割成无意义的子词（“nal”、“##ox”、“##one”），而领域专用词汇则将其视为整体。这种分词效率低下带来了高昂的成本——非英语和领域专用文本所需的词元数量可能是英语文本的13倍（Rust等人，2021（https://arxiv.org/html/2605.17379#bib.bib32)；Ahia等人，2023（https://arxiv.org/html/2605.17379#bib.bib74)；Petrov等人，2023（https://arxiv.org/html/2605.17379#bib.bib30)），直接增加了API成本、延迟和内存需求。近期研究证实，这种碎片化减少了有效上下文窗口大小，并阻碍了有意义表示的学习（Hofmann等人，2022（https://arxiv.org/html/2605.17379#bib.bib29)；Kaplan等人，2025（https://arxiv.org/html/2605.17379#bib.bib75)）。

解决词汇不匹配的传统方法是领域自适应预训练（DAPT），即模型在领域专用语料上进行持续预训练（Gururangan等人，2020（https://arxiv.org/html/2605.17379#bib.bib28)）。虽然有效，但这种范式存在显著的实际局限性。BioMistral-7B在来自PubMed Central的30亿词元上需要32块A100 GPU运行20小时，而Meditron-70B在处理460亿词元时消耗了128块A100 GPU运行332小时，却只获得了微小的改进。对于当代大语言模型，Hu等人（2022（https://arxiv.org/html/2605.17379#bib.bib31)）指出全微调“代价过高”，需要完全更新参数并为每个领域存储独立的模型实例。虽然参数高效方法减少了可训练参数，但它们并未解决底层分词效率低下的问题——即词汇不匹配。

另一种直接解决词汇不匹配问题的方法是词汇适配，即修改预训练模型的分词器和嵌入层，以纳入领域专用词汇。近期的工作（Sachidananda等人，2021（https://arxiv.org/html/2605.17379#bib.bib49)；Hong等人，2021（https://arxiv.org/html/2605.17379#bib.bib40)；Liu等人，2023（https://arxiv.org/html/2605.17379#bib.bib13)；Yamaguchi等人，2024（https://arxiv.org/html/2605.17379#bib.bib33)；Balde等人，2024（https://arxiv.org/html/2605.17379#bib.bib16)；Gao等人，2024（https://arxiv.org/html/2605.17379#bib.bib24)；Balde等人，2025（https://arxiv.org/html/2605.17379#bib.bib61)）证实这是一条资源高效的路径。然而，词汇扩展引入了参数增长的计算开销：为Llama-3-8B增加10,000个词元需要大约8000万个额外参数（以4096维嵌入计算），这代表着模型规模和推理成本的非平凡增加。Land和Bartolo（2024（https://arxiv.org/html/2605.17379#bib.bib65)）揭示了一个关键见解：当代语言模型中存在0.1-1%严重训练不足的“故障词元”——这些词汇词元占据了词汇表位置，但由于预训练暴露不足而贡献甚微。这一观察表明，通过策略性地用领域专用词汇替换训练不足的词元，可以实现高效的词汇适配，同时最小化参数扩展（Purason等人，2026（https://arxiv.org/html/2605.17379#bib.bib80)）。

在这项工作中，我们提出了一种词汇适配方法，在诉诸扩展之前，策略性地用领域专用词汇替换训练不足和不可达的词元，从而在实现有效领域特化的同时，最小化参数开销。我们的方法作用于Llama-3.1-8B和Qwen2.5-7B，包含四个关键步骤：(1) 我们在领域专用语料上训练一个BPE分词器，以识别候选领域词汇；(2) 我们根据频率和覆盖率统计选择前10,000个词元作为词汇适配预算；(3) 我们使用Land和Bartolo（2024（https://arxiv.org/html/2605.17379#bib.bib65)）的方法，通过识别训练不足和不可达的词元来编制替换候选列表；(4) 我们用领域专用词元替换该候选列表中的词元，仅在替换预算耗尽时才扩展词汇。这种混合的“先替换后扩展”策略使我们能够优先回收利用不足的词汇槽位，从而在最大化领域词汇覆盖率的同时，最小化净参数增加。

除了标准基准评估，我们还引入了一个以挑战为导向的评估框架，在领域词汇知识至关重要的条件下对模型性能进行压力测试。我们重新构建下游领域专用语料库，以明确捕捉具有挑战性的场景：在源文档（SD）或参考摘要（RS）中高浓度OOV的测试集——分别记为OOV_SD和OOV_RS。我们还选取了一个随机子集，不对OOV浓度施加限制，以比较在这些挑战场景下的性能水平。这种针对性的评估方法使我们能够评估通用模型在处理需要领域专用术语的专家级摘要任务时的表现，从而对词汇适配效果进行比聚合性能指标更严格的测试。我们在两个专业领域——医学和法律文献上评估了我们的方法，结果表明我们的方法在实现竞争性或更优性能的同时，显著减少了参数开销并保持了推理效率。

我们假设词汇适配的有效性取决于预训练分词器与下游数据之间词汇不匹配的严重程度和位置。我们发现：(i) 在OOV_SD和OOV_RS的挑战场景中，前者相对于竞争基线有更多改进。尽管OOV_RS的增益幅度（4.44%）略高于OOV_SD（4.26%）；(ii) 性能增益显著高于随机设置中观察到的增益（3.06%），验证了在词汇不匹配更严重的情况下增益更高；(iii) 词汇适配使模型能够比单独持续预训练提前35-55%达到最佳性能检查点，从而减少训练时间；(iv) 混合的“先替换后扩展”策略保持了高度参数高效性，在Llama和Qwen模型上，两个领域平均分别减少了12.04%和37.19%的参数。这些结果识别出分词不匹配是领域适配的一个瓶颈，并促使词汇适配策略成为一种有针对性的、数据依赖的干预手段。我们将代码库公开发布在https://github.com/gb-kgp/VocabReplace-Then-Expand。

## 2 提出的方法（VocabAdapt）

### 2.1 背景

通用LLM在广泛覆盖的语料上进行预训练，导致其分词器针对通用文本分布进行了优化。当部署到医学文本等专业领域时，这些分词器展现出系统性的过度碎片化。例如，术语“Osteoporosis”被Llama分词器分词为[O, ste, opor, osis]，分裂成四个子词。这种过度碎片化带来了两个主要挑战：首先，模型必须在多个词元位置上重建语义含义，增加了计算开销和表示噪声；其次，生成变得容易出错，因为模型必须依次正确预测每个片段，错误会在词元边界处累积。

解决这种词汇不匹配问题的标准方法是，通过添加领域专用词元来扩展模型的词汇表。令 \(V_{\text{src}}\) 表示源词汇表，其大小为 \(|V_{\text{src}}|\)，对应的嵌入矩阵为 \(E \in \mathbb{R}^{|V_{\text{src}}| \times d}\)，去嵌入矩阵为 \(U \in \mathbb{R}^{d \times |V_{\text{src}}|}\)，其中 \(d\) 表示模型的隐藏层维度。添加 \(k\) 个领域专用词元以形成扩展词汇表 \(V_{\text{exp}} = V_{\text{src}} \cup V_{\text{new}}\)，需要同时扩展嵌入矩阵和去嵌入矩阵，引入 \(2k \cdot d\) 个额外参数。对于具有大隐藏层维度和大量领域词汇的模型，这种参数开销变得显著，增加了内存占用和推理成本。

我们提出了一种替代方法，挑战了词汇扩展的必要性。我们的核心假设是，通用分词器包含大量训练不足和不可达的词元子集，这些词元对模型性能贡献极小。我们不是扩展词汇，而是识别这些无效词元并用领域专用术语替换它们，保持词汇表大小不变，同时解决碎片化问题。当领域需求超过可用候选词元时，我们仅对剩余术语进行扩展，从而最小化参数增长。

### 2.2 识别候选替换词元

我们的替换策略依赖于识别一个候选集 \(V_{\text{cand}} \subseteq V_{\text{src}}\)，该集合包含满足两个独立标准的词元：它们必须是训练不足且不可达的。

训练不足的词元通过Land和Bartolo（2024（https://arxiv.org/html/2605.17379#bib.bib65)）的方法识别，即计算词汇表中每个词元嵌入 \(e_i\) 的L2范数 \(\|e_i\|_2\)，排除部分UTF-8、回退字节和不可达词元。他们的分析表明，嵌入范数低于阈值的词元对应于预训练期间出现频率低因而训练不足的词汇项。该词元集此后记为 \(V_{\text{undertrained}}\)。

不可达词元通过一致性测试来识别（Land和Bartolo，2024（https://arxiv.org/html/2605.17379#bib.bib65)；Purason等人，2026（https://arxiv.org/html/2605.17379#bib.bib80)）。如果解码①其对应词汇词元ID \(t_i\) 并对解码后的词元进行编码，不能得到原始词元ID \(t_i\)，则词元 \(t\) 被视为不可达。例如，在Llama-3.1-8B中，解码编码词元ID 378得到âĢ，而对其编码则得到词元ID 5809。形式上，当 \(\text{encode}(\text{decode}(t_i)) \neq [t_i]\) 时，词元不可达。这些词元代表无法通过标准分词算法产生的词汇条目，因此在正常模型推理期间保持不可访问。虽然它们占据词汇表位置并计入参数数量，但在模型操作中不起任何功能作用。该词元集此后记为 \(V_{\text{unreachable}}\)。

我们将候选集定义为这两个标准的并集：

\[
V_{\text{cand}} = V_{\text{undertrained}} \cup V_{\text{unreachable}} \tag{1}
\]

这个并集确保我们替换那些训练不足且无法访问的词元，提供一种保守策略，最大程度降低降低模型在通用领域性能的风险。根据经验，我们观察到在Llama-3.1-8B和Qwen2.5-7B中，大约有3-4%的词汇表词元满足候选集标准，提供了大量替换候选词元池。

我们应用最终细化以确保分词器完整性。BPE（字节对编码）子词分词算法通过迭代合并操作构建词汇表，字符序列基于合并规则逐步组合成更大的单元。如果替换出现在候选集之外的另一个词元的合并规则中的词元，将从根本上破坏分词过程，导致某些词汇词元无法被分词。为了防止这种情况，