CNM-BERT：一种基于表意描述序列的汉字即插即用结构嵌入

# CNM-BERT：通过表意文字描述序列实现的中文字符即插即用结构嵌入
来源：https://arxiv.org/html/2608.05167
Liqian Yan1,211footnotemark:1 1上海星河湾双语学校 2LinkScape \{thomas, eric\}@linkscape\.app通讯作者\.

###### 摘要

基于词元的编码器（如BERT）将汉字视为原子标识符，忽略了其递归的字形结构。因此，模型依赖上下文共现，导致在生僻字和词表外（OOV）字符上性能下降。我们提出了组合网络模型（CNM），一种轻量级增强方法，将离散的组合结构注入Transformer编码器。CNM将表意文字描述序列（IDS）解析为树，通过递归Tree-MLP对其进行编码，并在不修改主干网络的情况下将结构嵌入融合到BERT中。在Wu等人 (2025 (https://arxiv.org/html/2608.05167#bib.bib22)) 的结构探针基准上进行评估，CNM-BERT在长尾和OOV字符上比最强基线（ChineseBERT）实现了+9.8的结构准确率和+7.7的部首F1提升。此外，CNM-BERT在CLUE、MRC和NER任务上，无论在base还是large规模下都取得了一致的提升，证明显式结构注入既能带来稳健的OOV理解能力，又能产生切实的下游价值。

CNM-BERT：通过表意文字描述序列实现的中文字符即插即用结构嵌入

Thomas Sing-wing Wu1,2††thanks:Equal contribution。和Liqian Yan1,211footnotemark:1††thanks:通讯作者。1上海星河湾双语学校2LinkScape\{thomas, eric\}@linkscape\.app

## 1 引言

现代Transformer语言模型依赖分词技术，这保证了训练的稳定性，但也带来了刚性的信息瓶颈。文本一旦被切分，词元内部任何语言结构都变得不可见。虽然这种抽象对字母文字基本无害，但对于汉字这样的语素文字而言，它本质上是有损的，因为汉字并非任意的原子符号，而是语义和语音部件的*递归组合*（例如，辯 = ⿲\(⿱\(立,十\), ⿳\(亠,二,口\), ⿱\(立,十\)\)）。将汉字映射为原子ID丢弃了这一结构，迫使模型只能通过上下文共现间接学习汉字语义。这种间接性的代价沉重地落在*长尾*上：生僻字获得的梯度更新极少，标准嵌入表无法系统地在字形相关的汉字之间共享参数。关键在于，这一限制是*架构性*的，而非规模限制——增加参数数量或预训练数据无法恢复输入接口已经丢弃的信息。无论模型规模多大，一个词表外（\[UNK\]）或训练不足的汉字仍然是不可理解的。

#### 贡献。

我们提出了组合网络模型（CNM），这是一种轻量级的即插即用增强方法，在不修改主干网络、词表或输出空间的情况下，将*离散*的子字符结构注入Transformer编码器。CNM将表意文字描述序列（IDS）规范化为一棵有根解析树，用递归Tree-MLP编码每个汉字，并将得到的结构嵌入融合到标准BERT嵌入层中（图2 (https://arxiv.org/html/2608.05167#S3.F2)）。由于结构是符号化的，并且在每个批次中对每个唯一汉字只计算一次，CNM非常高效，仅增加极少量参数，训练开销仅为≈5\%。

#### 定位。

我们在双重实证框架下评估CNM。我们的目标是证明显式结构建模弥补了一个仅靠token模型无法通过规模化解的特定表征缺口，同时严格保持通用NLU性能：

- • 主要：结构探针。在*中文汉字数据集*（CCD）Wu等人 (2025 (https://arxiv.org/html/2608.05167#bib.bib22))——一个测试子字符理解（如布局、部首分解）的外部基准——上，CNM-BERT在OOV切片上的结构准确率比最强视觉基线提高了+9.8个百分点，部首F1提高了+7.7个百分点。这确认了符号分解能够恢复仅靠规模方法无法捕捉的结构信号。
- • 次要：通用NLU。在标准CLUE、MRC和NER基准上，CNM-BERT持续达到或超过同等规模的最佳中文PLM。这表明显式结构注入是对词元接口的一种严格改进，在不带来下游退化的前提下赋予了专门的OOV鲁棒性。

## 2 相关工作

#### 中文预训练编码器。

BERT(Devlin et al.,2019 (https://arxiv.org/html/2608.05167#bib.bib5))确立了以字级MLM作为中文的标准做法，后续工作主要改进了*掩码策略*：BERT-wwm(Cui et al.,2020a (https://arxiv.org/html/2608.05167#bib.bib2))和ERNIE(Zhang et al.,2019b (https://arxiv.org/html/2608.05167#bib.bib28))引入了全词和实体级掩码；MacBERT(Cui et al.,2020a (https://arxiv.org/html/2608.05167#bib.bib2))用同义词替换掩码词元；ZEN(Diao et al.,2020 (https://arxiv.org/html/2608.05167#bib.bib6))和NEZHA(Wei et al.,2019 (https://arxiv.org/html/2608.05167#bib.bib20))注入N-gram信息或相对位置编码。CNM与所有这些方法正交——我们采用WWM作为最佳实践，但修改的是*嵌入接口*而非掩码目标。

#### 视觉和语音增强。

Glyce(Meng et al.,2019 (https://arxiv.org/html/2608.05167#bib.bib10))、ChineseBERT(Sun et al.,2021 (https://arxiv.org/html/2608.05167#bib.bib18))和MECT(Wu et al.,2021 (https://arxiv.org/html/2608.05167#bib.bib21))通过CNN从渲染字形中提取子字符信号。这些方法依赖从连续像素统计中进行*隐式特征提取*，这引入了字体敏感性和大量计算开销。基于拼音和注音的变体(Zhang et al.,2021 (https://arxiv.org/html/2608.05167#bib.bib26); Tan et al.,2022 (https://arxiv.org/html/2608.05167#bib.bib19); Si et al.,2023 (https://arxiv.org/html/2608.05167#bib.bib15))用发音替代字形，但存在严重的同音歧义问题(Du and Way,2017 (https://arxiv.org/html/2608.05167#bib.bib7))，因为与组合结构相比，发音与汉字语义的相关性较弱。

#### 组合与结构建模。

静态嵌入如cw2vec(Cao et al.,2018 (https://arxiv.org/html/2608.05167#bib.bib1))和部首级嵌入(Yin et al.,2016 (https://arxiv.org/html/2608.05167#bib.bib24); Sun et al.,2014 (https://arxiv.org/html/2608.05167#bib.bib17))确立了组合分解能产生更丰富的汉字语义。子字符分词(Si et al.,2023 (https://arxiv.org/html/2608.05167#bib.bib15); Zhang et al.,2019a (https://arxiv.org/html/2608.05167#bib.bib27))将部件展平进词表，但这改变了输出空间，并存在生成无效字符的风险(Nikolov et al.,2018 (https://arxiv.org/html/2608.05167#bib.bib11))；Si等人 (2023 (https://arxiv.org/html/2608.05167#bib.bib15))明确指出他们的方法不适用于开放式生成。CNM的不同之处在于将每个汉字视为一个*递归符号函数*：我们不是使用像素或展平序列，而是用递归Tree-MLP对IDS*树*进行编码，在保留标准分词器接口的同时暴露离散的组合结构。

#### 序列级结构整合。

Lattice-BERT(Lai et al.,2021 (https://arxiv.org/html/2608.05167#bib.bib8))整合词级格结构，通过向编码器暴露多个候选分词结果来消除中文分词的歧义。CNM与它是*互补*而非竞争关系：Lattice-BERT改进的是*词元序列*，而CNM通过子字符组合改进的是*每个词元的表示*。两者在正交的粒度上运作，原则上可以结合。

## 3 模型

见图注图1：汉字辯 (U+8FAF) 的规范化IDS解析树。内部节点（蓝色徽章）是布局运算符，以示意图IDC字形呈现（⿲：左中右；⿱：上下；⿳：上中下）；叶子节点（橙色方框）是原子的Unicode部件。Tree-MLP编码器从这棵树自底向上计算结构嵌入，对二元和三元节点使用运算符条件化的MLP。我们提出了组合网络模型（CNM），一种用于中文Transformer编码器的轻量级架构增强。CNM保留了*整个*Transformer主干——所有自注意力和前馈层与基线BERT编码器*完全相同*——只修改了*输入嵌入接口*。具体来说，CNM引入了一个*结构编码器*，它根据表意文字描述序列（IDS）的确定性*规范化*结果为每个汉字计算结构嵌入（图1 (https://arxiv.org/html/2608.05167#S3.F1)）。然后将结构嵌入与标准BERT嵌入在输入层融合，并通过不变的编码器堆栈传播；生成的双流架构在图2 (https://arxiv.org/html/2608.05167#S3.F2)中总结。

CNM的设计满足三个实际约束：(i)与标准BERT微调流程的*即插即用兼容性*（相同的序列长度和词表接口），(ii)源自符号字符组合而非依赖字体的栅格化字形的*显式离散结构*，以及(iii)通过在每批唯一汉字上缓存和向量化结构计算实现*高效性*。

### 3.1 输入与词元化

我们采用*字级词元化*处理中文，这与常见的中文BERT实践一致：每个CJK统一表意文字占据一个词元位置。111非汉字字符（如拉丁字母、数字和标点）由基线WordPiece规则进行词元化；CNM为这些位置附加一个空结构嵌入（§3.4 (https://arxiv.org/html/2608.05167#S3.SS4)）。设批次大小为BB，填充后的序列长度为TT。CNM使用标准BERT输入input\_ids∈NB×T\\in\\mathbb\{N\}^\{B\\times T\}（以及attention\_mask，token\_type\_ids），并附加一个结构索引张量struct\_idx∈NB×T\\texttt\{struct\\\_idx\}\\in\\mathbb\{N\}^\{B\\times T\}。

#### 结构索引。

struct\_idxb,t\\texttt\{struct\\\_idx\}\_\{b,t\}是在映射到词元ID*之前*直接根据原始Unicode字符串计算的。它索引一个预计算的规范IDS解析表，对应位置\(b,t\)\(b,t\)处的原始字符，即使对应的input\_ids条目在基线词表下映射为\[UNK\]。

### 3.2 基于IDS的结构表示

见图注图2：CNM作为即插即用增强。字级分词器为两个并行流提供输入：基线字符嵌入和作用于批量中每个唯一字符的IDS解析树的Tree-MLP编码器（图1 (https://arxiv.org/html/2608.05167#S3.F1)）。融合层将\[etok;sx\]\[\\mathbf\{e\}^\{tok\};\\mathbf\{s\}\_\{x\}\]投影回模型隐藏维度，使Transformer主干、词表和输出头与原始BERT完全相同。CNM使用一棵IDS解析树来表示每个汉字，该树编码其空间组合（图1 (https://arxiv.org/html/2608.05167#S3.F1)以字符辯为例进行了说明）。IDS字符串由*表意文字描述字符*（IDC）——它们指定二元或三元布局运算符——以及部件叶子（Unicode码点）组成。设Vchar\\mathcal\{V\}\_\{char\}为预训练和下游数据中观察到的Unicode汉字集合。对于每个字符x∈Vcharx\\in\\mathcal\{V\}\_\{char\}，我们构建一棵有根有序树Tx\\mathcal\{T\}\_\{x\}，其内部节点为IDC，叶子为部件码点。我们用Vcmp\\mathcal\{V\}\_\{cmp\}表示唯一叶子码点的集合，用Vop\\mathcal\{V\}\_\{op\}表示我们实现中使用的IDC运算符集合，将其限制为一组固定的标准Unicode二元/三元布局运算符。222我们在第4节列出Vop\\mathcal\{V\}\_\{op\}并报告IDS覆盖率统计。

#### 规范化。

IDS分解并不保证唯一。CNM应用确定性*规范化*，将每个字符xx映射到恰好一棵树Tx\\mathcal\{T\}\_\{x\}。我们(i)丢弃包含私有用途码点或非标准标记的候选；(ii)解析中间别名，直到所有叶子都是Vcmp\\mathcal\{V\}\_\{cmp\}中的Unicode码点；(iii)将内部节点限制为Vop\\mathcal\{V\}\_\{op\}中的二元/三元IDC。在剩余候选中，我们按以下规则的字典序选择：(a)树深度，(b)所有运算符是否都在高频子集\{⿰, ⿱\}中，(c)总节点数，以及(d)用于平局决胜的稳定字典序运算符哈希。完整过程在附录B (https://arxiv.org/html/2608.05167#A2)中形式化。没有有效IDS条目的字符（约占词表的∼3%\\sim 3\\%）映射到可学习的结构嵌入sunk\\mathbf\{s\}\_\{unk\}。

### 3.3 递归Tree-MLP结构编码器

为了将离散树Tx\\mathcal\{T\}\_\{x\}映射为稠密的结构嵌入sx∈Rds\\mathbf\{s\}\_\{x\}\\in\\mathbb\{R\}^\{d\_\{s\}\}，我们引入一个自底向上计算的*Tree-MLP编码器*。设Ecmp∈R\|Vcmp\|×dsE\_\{cmp\}\\in\\mathbb\{R\}^\{\|\\mathcal\{V\}\_\{cmp\}\|\\times d\_\{s\}\}和Eop∈R\|Vop\|×dsE\_\{op\}\\in\\mathbb\{R\}^\{\|\\mathcal\{V\}\_\{op\}\|\\times d\_\{s\}\}分别为部件和运算符的可学习嵌入矩阵。对于Tx\\mathcal\{T\}\_\{x\}中的任何节点nn，我们计算一个隐藏状态hn∈Rds\\mathbf\{h\}\_\{n\}\\in\\mathbb\{R\}^\{d\_\{s\}\}。

#### 叶子节点。

如果nn是对应于部件c∈Vcmpc\\in\\mathcal\{V\}\_\{cmp\}的叶子节点，则

hn=LayerNorm\(Ecmp\(c\)\)。\\mathbf\{h\}\_\{n\}=\\text\{LayerNorm\}\\\!\\left\(E\_\{cmp\}(c)\\right\)。\(1\)

#### 内部节点。

如果nn是对应于运算符o∈Vopo\\in\\mathcal\{V\}\_\{op\}且具有有序子节点c1,...,ckc\_\{1\},\\dots,c\_\{k\}（其中k∈\{2,3\}k\\in\\\{2,3\\\}）的内部节点，则应用带有限界残差路径的运算符条件化MLP：

hcat=\[Eop\(o\);hc1;...;hck\]∈R\(k\+1\)ds，\\mathbf\{h\}\_\{cat\}=\[\\,E\_\{op\}(o);\\ \\mathbf\{h\}\_\{c\_\{1\}\};\\ \\dots;\\ \\mathbf\{h\}\_\{c\_\{k\}\}\\,\]\\in\\mathbb\{R\}^\{(k\+1)d\_\{s\}\}，\(2\)hn=LayerNorm\(GELU\(Wkhcat\+bk\)\+1k∑i=1khci\)，\\mathbf\{h\}\_\{n\}=\\text\{LayerNorm\}\\\!\\left\(\\text\{GELU\}(\\mathbf\{W\}\_\{k\}\\mathbf\{h\}\_\{cat\}+\\mathbf\{b\}\_\{k\})+\\frac\{1\}\{k\}\\sum\_\{i=1\}^\{k\}\\mathbf\{h\}\_\{c\_\{i\}\}\\right\)，\(3\)其中W2∈Rds×3ds\\mathbf\{W\}\_\{2\}\\in\\mathbb\{R\}^\{d\_\{s\}\\times 3d\_\{s\}\}，W3∈Rds×4ds\\mathbf\{W\}\_\{3\}\\in\\mathbb\{R\}^\{d\_\{s\}\\times 4d\_\{s\}\}，bk∈Rds\\mathbf\{b\}\_\{k\}\\in\\mathbb\{R\}^\{d\_\{s\}\}。字符xx的结构嵌入定义为其根隐藏状态：

sx=hroot\(Tx\)。\\mathbf\{s\}\_\{x\}=\\mathbf\{h\}\_\{root\}(\\mathcal\{T\}\_\{x\})。\(4\)

#### 批量效率。

在每个词元位置独立计算sx\\mathbf\{s\}\_\{x\}会对相同字符造成重复计算。因此，在训练和推理期间，CNM只对当前批次中出现的唯一汉字集合（记为Vbatch\\mathcal\{V\}\_\{batch\}）计算结构嵌入。我们将每个Tx\\mathcal\{T\}\_\{x\}预编译为拓扑排序的指令缓冲区（后序遍历），以便Tree-MLP可以在节点间向量化。然后通过struct\_idx将对应的sx\\mathbf\{s\}\_\{x\}聚合回词元位置。