在哪里切割，切割多深：化学SMILES中的BPE与Unigram-LM

# 在哪里切割、切多深：化学 SMILES 上的 BPE 与 Unigram-LM 对比 来源：https://arxiv.org/html/2607.05691 ###### 摘要 每个读取 SMILES 的化学语言模型都始于分词器，但该领域几乎未经审视地从自然语言继承了字节对编码（BPE）。在自然语言中，BPE 的主要替代方案 Unigram-LM 以构建结构不同的词汇表而闻名。这种对比在化学领域是否成立尚属未知：完整的字形基座已覆盖所有合规分子，因此学习到的片段主要增加压缩性而非覆盖率，且在严格的化合价约束下，微小的字母表可能驱使两种基于频率的算法趋于收敛。我们报告了在固定 165 个标记的化学基座上，针对小词汇量（令牌嵌入可学习的范围）的 BPE 和 Unigram-LM 的受控比较，涵盖了三种语料库类型（多样化、药物类、天然产物）以及两种预分词边界策略。两者并未收敛。在所有 22 个匹配条件下，它们构建了几乎不重叠的子词词汇表：在共享基座之上，学习到的片段之间的跨算法 Jaccard 重叠从未超过 0.161，并且在偏向模型最常更新的高频片段后，最多仅为 0.05。Unigram-LM 还将留出分子分割成多 29%–41% 的令牌；两者在“在哪里切割”上基本一致，但在“切割多深”上不同，因此 BPE 的分割是 Unigram-LM 在 80%–99% 分子上的严格粗化。这种区别在语料库、边界策略和词汇量大小上均成立，甚至在八倍于标称规模（超出可学习范围）时仍持续存在；只有令牌频率不平衡程度随词汇量增大而减弱，在天然产物语料库上最为明显，但未完全消失。因此，子词算法是一个建模决策，而非免费的默认选项。我们发布所有训练好的分词器以及每种条件下的测量结果。 请参阅图注：图 1：尼古丁和血清素在两种算法的 \(V=1024\) 词汇表下的情况（分子按行排列，算法按列排列）。色调标记算法（蓝色为 Smirk-GPE/BPE，橙色为 Unigram-LM）；颜色越深表示片段越大，两者比例相同。BPE 构建了几个跨越整个环和链的大片段；Unigram-LM 保持近原子级别，散布着小珠子，每个分子输出更多令牌（这里分别多了 +5 和 +7 个，差距大于留出分子平均约三分之一的差值）。 ## 1 引言 每个对 SMILES 字符串[53 (https://arxiv.org/html/2607.05691#bib.bib53)]进行操作的化学语言模型都始于一个将字符串映射为整数 ID 的分词器，该分词器决定了模型嵌入的词汇表、模型操作的粒度，从而决定了有效序列长度。这是一个基础性的设计选择[2 (https://arxiv.org/html/2607.05691#bib.bib2),16 (https://arxiv.org/html/2607.05691#bib.bib16)]，几乎总是默认做出：SMILES 分词器从自然语言实践中继承了字节对编码（BPE）[43 (https://arxiv.org/html/2607.05691#bib.bib43)]，而其化学领域的衍生版本（SPE、APE、Smirk-GPE）都是 BPE 的变体。主要的替代方案 Unigram-LM[19 (https://arxiv.org/html/2607.05691#bib.bib19)] 偶尔在化学领域中使用，但从未在匹配条件下、在固定的化学语法基座上与 BPE 进行过比较。这个选择长期以来被一个更基础的因素——词汇表“覆盖率”（即每个字符串是否都能获得一个令牌，否则部分会回退为 [UNK]）所掩盖。Wadell 等人[51 (https://arxiv.org/html/2607.05691#bib.bib51)]发现，对于下游任务，是覆盖率而非子词方案区分了化学分词器，但这仅限于在较大的原生词汇量下使用异构基座，从未单独隔离子词“算法”这一轴。Smirk[51 (https://arxiv.org/html/2607.05691#bib.bib51)] 通过一个完整的 165 个令牌的 OpenSMILES 基座[15 (https://arxiv.org/html/2607.05691#bib.bib15)]解决了覆盖率问题，¹¹¹ 遵循 Wadell 等人[51 (https://arxiv.org/html/2607.05691#bib.bib51)]：158 个 OpenSMILES 字形加上七个特殊令牌（包括 [UNK]）。我们将这 158 个化学语法片段称为“字形”。 对符合规范的输入不产生 [UNK]。我们的研究从这里开始：将词汇量推入小规模范围，我们将子词算法（仍然继承自自然语言）作为研究的设计选择进行隔离。这种继承并不明显安全。化学 SMILES 在统计上与语言不同，具有极小的基本字母表和受严格结构约束的字符串，因此自然语言的先验知识可能不适用，而那些适用的也会产生双向影响。先验知识指向分歧：Bostrom 和 Durrett[5 (https://arxiv.org/html/2607.05691#bib.bib5)] 在自然语言上的研究以及先前唯一一篇化学领域的正面比较都报告了这一点，尽管我们在 §2.2 (https://arxiv.org/html/2607.05691#S2.SS2) 中重新审视时存在混淆因素。然而，收敛的空假设仍然存在：在自然语言中，当 \(V\) 很大时，一个关键的分割统计量（整个预令牌的吸收）在两种算法之间趋于收敛[36 (https://arxiv.org/html/2607.05691#bib.bib36)]；而在化学领域，两者都基于频率在一个由 158 个字形组成的小字母表上选择片段，其中价键和环闭合约束高度集中了哪些字序列会出现；这种集中可能驱使它们吸收相同的高频子结构并收敛。因此，我们提出问题：*在化学 SMILES 上，保持除算法外的所有因素固定，BPE 和 Unigram-LM 之间的选择是否仍然影响最终分词器的结构？还是化学领域较小的、受价键约束的字母表驱使两者收敛到相同的词汇表？* 我们发现算法塑造了分词器。在匹配条件下（相同的语料库、词汇量大小和边界策略），BPE 和 Unigram-LM 构建了可衡量的不同词汇表（图 1 (https://arxiv.org/html/2607.05691#S0.F1)），体现在三个意义上：词汇表包含*哪些*片段（成员资格）、它*多精细地*分割留出分子（粒度）以及令牌使用分布*多不均匀*（分布）；另外两个结果确定了其范围。所有这五个特性都是算法对的稳定属性，在语料库类型、边界策略和词汇量大小上均成立，只有一个语料库上的分布差距幅度有所减弱（第 4 节 (https://arxiv.org/html/2607.05691#S4))。这是一项分词器层面的研究：我们不训练语言模型，也不主张哪个算法在下游任务中更好。这是进行该比较的前提条件，确立了这两者不会产生可互换的词汇表，从而动摇了该领域继承的默认选项。我们的贡献有四点：(i) 首次在化学语法、小词汇量下，对 BPE 和 Unigram-LM 在多种语料库类型和两种边界策略上进行受控比较；(ii) SMILES 领域此前未报道的化学侧测量，包括从自然语言文献中引入的四种机制诊断指标中的三种（死区盈余、支架片段比例和整个预令牌吸收；另一种指标，分割熵，是 Unigram-LM 固有的），以及一组结构字符和非规范电池，用于定位分歧；(iii) 两个确定了范围的结果：几乎不相交的词汇表仍然以兼容的方式解析，并且这种分歧在标称词汇量的 8 倍（即超出可学习范围）时仍然存在；(iv) 所有训练好的分词器和每种条件下的测量结果均已发布，可供重新分析。 ## 2 背景与相关工作 ### 2.1 化学 SMILES 分词器 化学侧的分词器最好按照它们各自处理“覆盖率”（§1 (https://arxiv.org/html/2607.05691#S1)）的方式来组织。*原子级*正则表达式分词器[42 (https://arxiv.org/html/2607.05691#bib.bib42)] 按原子符号分割，并将每个带括号的原子视为一个令牌；DeepChem 的实现[35 (https://arxiv.org/html/2607.05691#bib.bib35)] 因 ChemBERTa[7 (https://arxiv.org/html/2607.05691#bib.bib7)] 而普及，被广泛使用。由于带括号的原子联合编码了元素、同位素、手性、电荷和氢原子数，OpenSMILES 的带括号原子空间超过 28 万亿种排列[51 (https://arxiv.org/html/2607.05691#bib.bib51)]，远超出任何固定词汇表的范围；其余未表示的部分变为 [UNK]。*SMILES 对编码*（SPE）[25 (https://arxiv.org/html/2607.05691#bib.bib25)] 和*原子对编码*（APE）[23 (https://arxiv.org/html/2607.05691#bib.bib23)] 是采用原子级初始化的 BPE 改编版，学习约 3,000–5,300 个令牌；两者都继承了这种“带括号原子作为令牌”的约定，仍然会产生 [UNK][51 (https://arxiv.org/html/2607.05691#bib.bib51)]；对于 SPE，在 MoleculeNet[54 (https://arxiv.org/html/2607.05691#bib.bib54)] 上达到约 19% 的令牌，在 tmQM[4 (https://arxiv.org/html/2607.05691#bib.bib4)] 上达到约 50%。*Atom-in-SMILES*[50 (https://arxiv.org/html/2607.05691#bib.bib50)] 用环境感知令牌替换原子令牌；它是双射的，但具有隐式、开放式的词汇表。*Smirk*[51 (https://arxiv.org/html/2607.05691#bib.bib51)] 是 OpenSMILES 的正则表达式字形分解，基于一个 165 个令牌的基座；任何符合 OpenSMILES 的字符串都可以分解成这些字形，不会产生 [UNK]。*Smirk-GPE* 是在该字形基座之上应用的 BPE。另一条独立的工作线将覆盖率放在一边：它不构建词汇表，而是对 SMILES 令牌序列进行后处理以实现压缩（例如基于字典树的优化和转移图过滤[34 (https://arxiv.org/html/2607.05691#bib.bib34)]），其基础正是我们在此刻画其特性的频率驱动子词原语。我们全程研究 SMILES；其他表示法如 SELFIES[18 (https://arxiv.org/html/2607.05691#bib.bib18)]（其字符串始终解码为有效分子）和 DeepSMILES[31 (https://arxiv.org/html/2607.05691#bib.bib31)] 改变了表示法而非子词算法，不在研究范围内。这种表示法选择是有影响的（基于 SMILES 的生成器在分布学习指标上优于 SELFIES，且 SMILES 允许的无效字符串充当隐式质量控制[44 (https://arxiv.org/html/2607.05691#bib.bib44)]），但与我们的算法对比正交。 ### 2.2 BPE 与 Unigram-LM 对比 BPE 和 Unigram-LM 以相反的方向构建其词汇表（附录图 6 (https://arxiv.org/html/2607.05691#A1.F6))。BPE[43 (https://arxiv.org/html/2607.05691#bib.bib43)] 自底向上构建，贪婪地合并最频繁的相邻符号对，直到达到目标大小；给定语料库和目标大小，它是确定性的。Unigram-LM[19 (https://arxiv.org/html/2607.05691#bib.bib19)] 自顶向下构建，通过期望最大化在一个大的种子词汇表上拟合一个 unigram 概率分布，并剪除那些移除后对语料库似然损失最小的片段；它提供每次分割的概率，并支持训练时的子词正则化。在化学领域，它出现在诸如 BARTSmiles[6 (https://arxiv.org/html/2607.05691#bib.bib6)] 和 ReactionT5 / CompoundT5[38 (https://arxiv.org/html/2607.05691#bib.bib38)] 等模型中。（WordPiece[41 (https://arxiv.org/html/2607.05691#bib.bib41)] 像 BPE 一样自底向上构建，仅在合并标准上有所不同，不在研究范围内。）两种算法都在预分词器之后运行，预分词器是首先将原始字符串分割成“预令牌”（子词合并被限制在其中的块）的步骤。在自然语言中，这个边界是跨研究中影响最大的设计选择，高于词汇量大小和语料库[52 (https://arxiv.org/html/2607.05691#bib.bib52),36 (https://arxiv.org/html/2607.05691#bib.bib36)]。最近的方法为了压缩而放宽了这一限制[27 (https://arxiv.org/html/2607.05691#bib.bib27),40 (https://arxiv.org/html/2607.05691#bib.bib40)]。我们将其化学对应物——合并是否可以跨越带括号原子的边界——作为一个第一类轴（§3.3 (https://arxiv.org/html/2607.05691#S3.SS3)）来处理。先前的工作已经测量了 BPE 和 Unigram-LM 在*何处*发生分歧，每项研究都提供了一种我们带入化学领域的诊断方法。Bostrom 和 Durrett[5 (https://arxiv.org/html/2607.05691#bib.bib5)] 发现 Unigram-LM 在自然语言上因结构原因达到或超过 BPE，尽管优势在其两个语料库之间相差一个数量级；这种结构性解释有三个支撑点：更好的形态对齐、更少地过度合并高频词缀，以及更小的死区盈余（BPE 带有约 1,500 个中间合并令牌，这些令牌出现频率太低而无法训练嵌入）。对于 SMILES，没有金标准的分割来评分形态对齐，因此 Bostrom 的更好对齐指标无法转移；过度合并这一支撑点变成了我们的粒度对比（繁殖率），而死区盈余是一种对称的跨臂计数，我们直接测量（§4.4 (https://arxiv.org/html/2607.05691#S4.SS4)）。Lian 等人[26 (https://arxiv.org/html/2607.05691#bib.bib26)] 量化了 LLaMA-32K 分词器[49 (https://arxiv.org/html/2607.05691#bib.bib49)] 中 BPE 侧“支架令牌”比例占 6.07%，并表明移除它们后，在 6.7B 参数模型上获得下游提升。Reddy 等人[36 (https://arxiv.org/html/2607.05691#bib.bib36)] 报告了一个相关的诊断指标——作为单个令牌吸收的预令牌比例，发现它“在所有算法中都异常高”，并随词汇量增加而增加。先前唯一的化学侧正面比较是 Temizer 等人[47 (https://arxiv.org/html/2607.05691#bib.bib47)]，他们在约 230 万条 ChEMBL[55 (https://arxiv.org/html/2607.05691#bib.bib55)] SMILES 上，在 \(V \in \{8K, 16K, 32K\}\) 的条件下学习了 BPE、WordPiece 和 Unigram 词汇表。他们报告 BPE 和 WordPiece 词汇表重叠约 80%，而 Unigram 与其他的重叠最多约 47%；重叠随着 \(V\) 增大而缩小；Unigram 的“化学词”运行得更长，且更少通过 RDKit 验证。他们的研究确立了这种对比是“可见的”。但它在原始 SMILES 上运行（没有固定的化学基座，将算法与缺乏原子级别相混淆），并在单一的预分词策略下使用一种药物类语料库，留下了算法对比、语料库稳定性或边界鲁棒性是否成立的问题（我们测试的三个问题）。第四个混淆因素，即大的 \(V\)，使其处于可学习的小词汇量范围之外（§2.3 (https://arxiv.org/html/2607.05691#S2.SS3))。 ### 2.3 语料库类型与小词汇量范围 Bostrom 和 Durrett[5 (https://arxiv.org/html/2607.05691#bib.bib5)] 中英语与日语轴的化学类比不是形态学，而是字母表多样性×拓扑×官能团分布。我们用三个主要语料库来覆盖它：PubChem[17 (https://arxiv.org/html/2607.05691#bib.bib17)]（多样化）、ZINC-22[48 (https://arxiv.org/html/2607.05691#bib.bib48)]（药物类）和 COCONUT[45 (https://arxiv.org/html/2607.05691#bib.bib45)]（天然产物），外加 Enamine 按需制造 REAL-Space[12 (https://arxiv.org/html/2607.05691#bib.bib12),51 (https://arxiv.org/html/2607.05691#bib.bib51)] 的 1% 样本，该样本仅作为锚点（各语料库特征见表 1 (https://arxiv.org/html/2607.05691#S3.T1)）。REAL-Space 由固定的构建模块组合枚举而成，具有狭窄的字母表，即使是 1% 的样本也足够大以耗尽可用的合并，使其成为一个*过饱和*的药物类探针。词汇量大小受嵌入可学习性的限制：超过大约 1,000 个学习到的令牌可能因出现频率太低而无法训练嵌入，这是一个令牌使用的死区（这是范围的边界，而不是 §2.2 (https://arxiv.org/html/2607.05691#S2.SS2) 中的跨臂盈余），而 Wadel