语言模型碎片整合：基于可解释性的词汇扩展方法

# 一种基于可解释性的词汇扩展方法

来源：https://arxiv.org/html/2604.16656

## 碎片化语言模型：一种基于可解释性的词汇扩展方法

Maitrey Mehta¹, Nishant Subramani², Zhichao Xu¹, Ashim Gupta¹ & Vivek Srikumar¹

¹犹他大学卡勒特计算学院

²卡内基梅隆大学语言技术研究所

{maitrey,svivek}@cs.utah.edu

###### 摘要

所有语言都是平等的；但在分词方面，有些语言比其他语言更"平等"。分词符是决定当代大语言模型访问成本和延迟的隐藏货币。然而，许多使用非拉丁字母书写的语言却面临着糟糕的"汇率"：大语言模型需要多倍的词符来编码与其他语言相同的信息，而英语除外。我们的分析表明，这个问题（即*词符过度碎片化*）在现代开源大语言模型中依然存在。标准解决方案是词汇扩展，即添加目标语言中模型词表所缺失的词条。在这项工作中，我们全面研究和推进基于可解释性的词汇扩展这一新研究方向。我们关注词汇扩展过程中的两个核心决策：我们应该添加哪些词条？以及我们应该如何初始化它们对应的输入和输出嵌入？

首先，我们质疑使用基于频率的方法来选择待添加词汇项的传统做法（这一决策长期以来被视为已解决的问题），并表明基于可解释性的方法能够提供更优的性能-词符效率权衡。其次，我们通过展示对于多种使用非拉丁字母书写的语言，基于可解释性的嵌入初始化方法相对于基线初始化方法获得了约20分的显著提升，进一步强化了基于可解释性的嵌入初始化方案的优势。我们发现了"子词去分词"现象，即模型在各层中逐步将碎片化的子词词符合并成更大的子词。基于对该现象的分析，我们提出了FragMend方法，以进一步推动基于可解释性的扩展的效率上限。我们通过与强基线方法的对比验证了FragMend的有效性，并对其设计选择进行了广泛分析。

## 1 引言

基于子词的分词是现代大语言模型（LLM）中一种普遍的策略，它依赖于固定大小的词表来编码模型输入和输出。然而，用于选择词汇项的数据驱动方法，如字节对编码（BPE; Sennrich et al., 2016 (https://arxiv.org/html/2604.16656#bib.bib1)）、Unigram（Kudo, 2018 (https://arxiv.org/html/2604.16656#bib.bib24)），经常会引入语言间的不平衡现象。具体而言，在用于构建词表的预训练数据中代表性不足的语言，据知需要比其他语言多几倍的词符来编码相同的信息（如图1 (https://arxiv.org/html/2604.16656#S1.F1)所示）——这种现象被称为*词符过度碎片化*（Rust et al., 2021 (https://arxiv.org.UTF/2604.16656#bib.bib3); Ahia et al., 2023 (https://arxiv.org/html/2604.16656#bib.bib2); Petrov et al., 2023 (https://arxiv.org/html/2604.16656#bib.bib22)）。请参见标题(a)请参见标题(b) 请参见标题(c)

图1：(a) 111种语言的词符过度碎片化情况，使用Qwen3进行测量，以编码相同信息（SIB200 (Adelani et al., 2024 (https://arxiv.org/html/2604.16656#bib.bib11))）所需的词符数与英语的比值为衡量标准（x轴）。多种语言（主要是使用非拉丁字母的低资源语言）尽管使用的UTF-8字符数相近，却需要多倍的词符（§2 (https://arxiv.org/html/2604.16656#S2)）。红色标记的语言模型不支持。(b) 词符比与字符比成不成比例地增长。(c) 基于可解释性的方法，如Tokens2Words和FragMend，将基于频率的传统词汇扩展方法（如BPE）实现的性能-效率帕累托前沿推向更高水平，以对抗过度碎片化（§6.1 (https://arxiv.org/html/2604.16656#S6.SS1)）。

解决词符过度碎片化问题日益紧迫，因为它直接影响受影响语言用户的推理速度和API成本。由于分词器设计在模型训练前基本固定（Abagyan et al., 2025 (https://arxiv.org/html/2604.16656#bib.bib4)），从头开始训练具有公平分词器的模型在计算上不可行。先前的工作转而探索"词汇扩展"这一实用解决方案，即用新的目标语言词汇项扩展模型词表，重新调整其嵌入¹¹我们用"嵌入"来统称输入和输出（或语言模型头部）嵌入。，并调整模型以与新词汇项对齐（Wang et al., 2020 (https://arxiv.org/html/2604.16656#bib.bib7); Gee et al., 2022 (https://arxiv.org/html/2604.16656#bib.bib5); Dobler and de Melo, 2023 (https://arxiv.org/html/2604.16656#bib.bib8)等）。由于分词器和嵌入是唯一依赖词表的模型组件，理论上所有其他模型参数都可以冻结。因此，词汇扩展可以归结为回答三个核心问题（Yamaguchi et al., 2026 (https://arxiv.org/html/2604.16656#bib.bib9)）：a) 应该向分词器添加哪些词汇项？（阶段1：词汇项选择），b) 新词汇项的嵌入应该如何初始化？（阶段2：嵌入初始化），以及c) 应该调整哪些模型参数，如何调整？（阶段3：嵌入调优）。

在这项工作中，我们关注前两个问题，将调优步骤（Kim et al., 2024 (https://arxiv.org/html/2604.16656#bib.bib51); Yamaguchi et al., 2026 (https://arxiv.org/html/2604.16656#bib.bib9)）视为次要问题，并在所有实验中采用固定的调优策略。令人惊讶的是，关于*添加哪些*词汇项的问题受到的关注远少于如何初始化它们的问题。先前的工作（Cui et al., 2023 (https://arxiv.org/html/2604.16656#bib.bib12); Yamaguchi et al., 2026 (https://arxiv.org/html/2604.16656#bib.bib9)等）使用频率启发式方法，如BPE（Gage, 1994 (https://arxiv.org/html/2604.16656#bib.bib14); Sennrich et al., 2016 (https://arxiv.org/html/2604.16656#bib.bib1); Kudo and Richardson, 2018 (https://arxiv.org/html/2604.16656#bib.bib13)）来确定要添加的词汇项，这一设计选择我们在本工作中进行了仔细审视。随后，相关的嵌入以各种方式初始化，从简单的启发式方法（Gee et al., 2022 (https://arxiv.org/html/2604.16656#bib.bib5); Dobler and de Melo, 2023 (https://arxiv.org/html/2604.16656#bib.bib8)）到超网络方法（Minixhofer et al., 2024 (https://arxiv.org/html/2604.16656#bib.bib15); Özeren et al., 2025 (https://arxiv.org/html/2604.16656#bib.bib45)）。最近，基于可解释性的词汇扩展方法使用模型激活（Kaplan et al., 2025 (https://arxiv.org/html/2604.16656#bib.bib16); Dobler et al., 2026 (https://arxiv.org/html/2604.16656#bib.bib17)）来指导词汇项选择和嵌入初始化，作为减少词符过度碎片化的新方向而涌现。然而，这些方法在跨语言减少词符过度碎片化方面仍然缺乏探索。在这项工作中，我们以Tokens2Words（Kaplan et al., 2025 (https://arxiv.org/html/2604.16656#bib.bib16)）作为基于可解释性的方法代表，提供了详细分析，并提出了一个新方法FragMend来解决它们的局限性。

对于当前的多语言模型，奥利亚语（Odia）用户必须比英语用户多支付10倍的溢价。我们的方法仅使用1000个训练序列就能将这一溢价减半，这样的数据集可以在数小时内创建。使用我们方法的实际障碍很低：完整流程只需要一个小规模的无标注语料库，无需模型重训练，却能为承受相对于英语用户数量级成本溢价的社区带来有意义的分词改进。

总之，我们的主要贡献包括：

- 我们表明，基于可解释性的词汇扩展技术在选择要添加的词汇项（阶段1）时优于传统的基于频率的启发式方法。关键在于，这些技术将基于频率方法设定的词符效率-性能帕累托前沿推向更高水平，表明了更好的权衡（图1 (https://arxiv.org/html/2604.16656#S1.F1)）。

- 我们对基于Tokens2Words的嵌入初始化（阶段2）进行了全面分析。我们表明，对于多种语言，包括遭受严重词符过度碎片化的使用非拉丁字母的低资源语言，该方法优于许多基于启发式的初始化策略。

- 我们展示了"子词去分词"现象的存在，即模型通过逐步合并子词来重建完整单词，形成许多中间子词。这一结果表明，去分词在Kaplan et al.（2025 (https://arxiv.org/html/2604.16656#bib.bib16)）提出的完整单词设置之外也能有效泛化，并表明大语言模型的内部词库比其词表所暗示的更为丰富。

- 基于这一发现，我们提出了一种新的词汇扩展技术FragMend，它利用"子词去分词"。我们提供了相对于现有基线的词符效率和性能的系统分析。我们的结果表明，我们的方法可以在性能小幅牺牲的情况下提供显著的词符效率增益。²²代码可访问https://github.com/utahnlp/fragmend

## 2 词符过度碎片化：天堂里的麻烦

词符过度碎片化（或过度碎片化）是在大语言模型中观察到的现象，即某些语言（特别是使用非拉丁书写系统的语言）被不成比例地大量子词词符编码（Ahia et al., 2023 (https://arxiv.org/html/2604.16656#bib.bib2); Petrov et al., 2023 (https://arxiv.org/html/2604.16656#bib.bib22)）。

##### 分析

在图1 (https://arxiv.org/html/2604.16656#S1.F1)中，我们使用Qwen3-30B-A3B（Team, 2025 (https://arxiv.org/html/2604.16656#bib.bib23)）分词器在并行SIB200数据集（Adelani et al., 2024 (https://arxiv.org/html/2604.16656#bib.bib11)）上展示了111种语言的词符过度碎片化情况。对于每种语言，我们计算相对于英语对应的子词词符（和字符³³我们使用字符数作为与分词器无关的代理，以跨脚本语境化词符使用。）比值。大于1的值表示该语言需要比英语更多的词符（或字符）来编码相同的内容（Kanjirangat et al., 2025 (https://arxiv.org/html/2604.16656#bib.bib54)）。公平的分词器会将所有语言的点都放在或接近对角线y=x上。换句话说，我们预期词符比与文本长度成比例地增加。相反，我们看到所有点都位于对角线下方（x/y>1，图1 (https://arxiv.org/html/2604.16656#S1.F1)），表明分词器使用的不必要的词符过多。过度碎片化在使用非拉丁字母的语言中最为严重（如图1 (https://arxiv.org/html/2604.16656#S1.F1)和1 (https://arxiv.org/html/2604.16656#S1.F1)中的三角形所示），如奥利亚语（ori），尽管字符数相近，却需要约十倍的子词词符。从语言资源角度分析，使用Joshiet al.（2020 (https://arxiv.org/html/2604.16656#bib.bib10)）的分类法，低资源语言（类别0-2）具有更高的碎片化程度；尽管如此，脚本是更强的预测因子。例如，高资源的非拉丁字母语言如印地语（hin），仍需要超过四倍的英语词符，远比许多低资源的拉丁字母语言（如托克皮辛语tpi）差。或许最令人惊讶的是，碎片化对于模型*正式支持*的语言（如奥利亚语、缅甸语mya）比不支持的语言（如毛利语mri和阿姆哈拉语amh，标为红色）更为严重。

##### 为什么会发生？

使用基于频率的方法（如BPE（Sennrich et al., 2016 (https://arxiv.org/html/2604.16656#bib.bib1)）和Unigram（Kudo, 2018 (https://arxiv.org/html/2604.16656#bib.bib24)））开发的分词器继承了其训练数据的偏见。训练数据集往往严重偏向高资源、使用拉丁字母的语言（Xue et al., 2021 (https://arxiv.org/html/2604.16656#bib.bib25)）。此外，拉丁字母是迄今为止最普遍的字母，服务于超过500种语言（Mayhew, 2016 (https://arxiv.org/html/2604.16656#bib.bib26)），且随着非拉丁字母语言中罗马化趋势的增强而持续扩展（Sengupta et al., 2024 (https://arxiv.org/html/2604.16656#bib.bib53)）。因此，分词器词表往往被拉丁子词主导，除非明确重新平衡。此外，标准子词分词器中的字节回退将表现不佳的脚本编码为字节字符串，进一步碎片化单个字符：一个汉字使用三个字节，而一个拉丁字符只使用一个字节（Limisiewicz et al., 2024 (https://arxiv.org/html/2604.16656#bib.bib27)）。

##### 对现实世界用户的影响

输入和输出词符构成了用户与模型的接口，因此过度碎片化的语言可能导致该语言社区用户的API成本增加（Ahia et al., 2023 (https://arxiv.org/html/2604.16656#bib.bib2); Churchill and Skiena, 2026 (https://arxiv.org/html/2604.16656#bib.bib57)）、更高的延迟（Sun et al., 2023 (https://arxiv.org/html/2604.16656#bib.bib28)）以及较差的下游性能（Ali et al., 2024 (https://arxiv.org/html/2604.16656#bib.bib56); Kanjirangat et al., 2025 (https://arxiv.org/html/2604.16656#bib.bib54)）。分词可能看起来像是技术脚注，但对许多人来说却是一种隐性税收。

## 3 背景：可解释性与词汇扩展

在本节中，我们总结Tokens2Words（Kaplan et al., 2025 (https://arxiv.org/html/2604.16656#bib.bib16)），这是最早基于可解释性的词汇扩展方法之一，以及其在词汇项选择（阶段1）和嵌入初始化（阶段2）中的应用。Tokens2Words基于词级"去分词"现象构建，该观点认为模型维护着一个比其词表大得多的内部词库，并学会为跨越多个子词词符的概念重建有意义的表征，这与之前的研究发现一致（例如，Gurnee et al., 2023 (https://arxiv.org/html/2604.16656#bib.bib18); Li and Subramani, 2025 (https://arxiv.org/html/2604.16656#bib.bib60)）。

### 3.1 阶段1：选择要添加的词汇项

Kaplan et al.（2025 (https://arxiv.org/html/2604.16656#bib.bib16)）使用Patchscopes框架（Ghandeharioun et al., 2024 (https://arxiv.org/html/2604.16656#bib.bib19)）来检测词级去分词。对于每个唯一的前分词单词w∉V且w∈C_train，其中V是模型词表，C_train是某个训练语料库，Patchscopes使用候选LLM（由θ参数化）来确定w是否成功去分词，因此它是模型内部词库的一部分。假设w使用模型分词器T被分词为一组子词词符{t₁,t₂,...,tₙ}。在第一次前向传播中，Patchscopes框架计算所有子词tᵢ∈T(w)在每一层l的隐藏激活（h̃_{t_i}^l）：

h_{t_1}^l, h_{t_2}^l, ..., h_{t_n}^l = LLM_θ(t_1, t_2, ..., t_n)