词少但词元不少:衡量梵语每命题的词化代价
摘要
本文测量了梵语与英语和印地语相比的词化成本,发现梵语由于其信息密度高,每命题需要更多词元,但随着词汇表大小的增加,惩罚会降低。
arXiv:2609.12960v1 公告类型:新
摘要:梵语将格、数、人称和时态融合到词尾,并将从句链接为复合词,因此每个词的信息密度很高。这种密度是否能在子词词化中存活,是一个单独的问题,需要按意义单位而非每个词来提问。在相同的FLORES-200开发测试内容上,使用词汇表大小为200,019或更多的已部署词化器时,梵语所需的词元是英语的1.774-2.187倍,但仅为印地语的1.325-1.353倍。与已部署的英语词化器相比,使用梵语训练的BPE在当代散文中每命题看起来比英语更便宜(0.887)。针对匹配的英语控制组,使用相同算法和词汇表在相同语料库的英语部分训练后,这种反转消失了:在32,000和64,000个片段时,所有8对匹配组中,每个大小匹配的臂与配对匹配和字节匹配控制组相比,在散文上都高于1.0,且95%区间排除1.0。随着词汇表的增长,差距缩小:在128,000个片段时,BPE配对在域内读数为0.983,而在域外仍高于均衡(1.025),在FLORES上为1.116。比率可以分解为字符长度比率和每个字符的词元比率,第二个比率在整个过程中接近1:在匹配词化下存活的是字符级长度,梵语散文在SLP1中比英语短(1.028),而梵语诗歌则更长(0.596)。稳健的陈述是关于已部署实践:在当代散文和FLORES上,梵语侧使用SLP1,与已部署的o200k英语枢轴相比,梵语在人们实际部署的词化器下每命题成本为1.831-2.899英语词元。代码、结果快照和此处的所有表格都是公开的。
查看缓存全文
缓存时间: 2026/09/14 08:42
# 衡量每个命题的梵语分词惩罚
来源:https://arxiv.org/html/2609.12960
## 更少的词,而非更少的词元:衡量每个命题的梵语分词惩罚
###### 摘要
梵语将格、数、人称和时态融合到词尾,并将从句连接成复合词,因此每个词的信息是密集的。这种密度在经过子词分词后是否得以保留,是一个独立的问题,需要根据意义单位而非每个词来衡量。在相同的 FLORES-200 开发测试集内容上,使用部署的词表大小为 200,019 个标识符或更多的分词器时,梵语消耗的词元数量是英语的 1.774 到 2.187 倍,但仅为印地语的 1.325 到 1.353 倍。与部署的英语分词器相比,梵语训练的 BPE 模型在当代散文上每个命题的成本反而看起来更便宜(0.887)。然而,与一个匹配的英语对照组(即使用相同算法和词表,在同一语料库的英语部分训练的模型)相比,这种逆转消失了:在 32,000 和 64,000 个词片下,所有 8 对匹配的组合(每个大小匹配的模型对与一个配对匹配和一个字节匹配的对照组)在散文上的数值都高于 1.0,其 95% 置信区间排除了 1.0。随着词表增大,差距缩小:在 128,000 个词片时,BPE 对在领域内读数为 0.983,而在领域外仍高于均等(1.025),在 FLORES 上为(1.116)。该比率可以分解为字符长度比率和每字符词元数比率,后一个比率在整个过程中接近 1:在匹配的分词下得以保留的是字符级别的长度,而梵语散文在 SLP1 下(1.028)以及梵语诗歌(0.596)相较于英语都不具备长度优势。一个稳健的结论是关于实际部署的:在当代散文和 FLORES 上,使用梵语 SLP1 侧对抗部署的 o200k 英语枢轴时,人们实际部署的分词器下,梵语每个命题的成本是英语的 1.831 到 2.899 倍。代码、结果快照以及此处的每张表格都是公开的。
## 1 引言
关于梵语的两种说法很容易被混为一谈,本文的关键在于区分它们。
**说法 A** 是梵语每个词信息密集。其八个格在名词上标记了英语用介词和语序所标记的内容;其动词将人称、数、时态、语气和语态融合在一个词尾中;复合词将本应是关系从句的部分链接成一个单一的书写词。我们引用而非检验这一说法。认为梵语语法传统编码的结构可被计算系统利用的想法由来已久,Briggs (1985) (https://arxiv.org/html/2609.12960#bib.bib9) 是其最常被引用的现代陈述。
**说法 B** 是这种密度在分词后得以保留。这是我们检验的说法,它并非由说法 A 所蕴含。更少的词并不意味着更少的词元。子词学习器将空格作为其最廉价的边界信号,而连音变(sandhi)——词界处的强制性融合——恰恰删除了这个信号。分词器可能需要花费其词表去重新发现语言已经标记过的结构,而任何用词数作为分母的测量都会掩盖这一点,因为梵语词数少的原因与其词长是同一个。我们在平行文本上衡量每个意义单位的成本,其中梵语句子及其英语翻译传达大致相同的内容,我们添加了一个将测量转变为比较的控制组:一个使用相同算法、在相同词表大小、在同一语料库英语部分训练的英语分词器。如果没有它,梵语模型的比较对象将是一个在词表大小、训练领域以及语言上都有差异的分词器,低于均等的交叉无法归因于语言。
研究范围仅限于词元成本及其下游影响,因此这些计数可能预测的建模结果留给后续工作。我们的贡献有三点:
1. **测量**:在相同内容上,梵语相对于英语和印地语的均等性和每个命题的词元数,涉及 4 个部署的通用分词器、3 个部署的印度语分词器以及此处训练的 6 个分词器,每个比率都配有配对的 bootstrap 置信区间,生育率(fertility)与结果一起报告但绝非标题。
2. **匹配的对照组**:一个同算法、同词表、同语料库的英语对照组家族,有两种形式:一种是与梵语训练文本逐句匹配的,另一种是按其字节数子采样的,词表大小为 32,000、64,000 和 128,000 个词片。它消除了在较小两个尺寸下散文上梵语的表面优势,并在最大尺寸下仅于领域内散文上保留了该优势。梵语词元计数在两个比率中由构造决定是相同的,因此它们之间的所有差异来自英语分母,所测量的是对照组在相同英语文本上使用了 14.3% 更少的词元,因为它正是在该领域上训练的。
3. **人工制品**:一个公开的仓库,其中每个实验是一条命令,每个评估句子都通过两侧的哈希列表被排除在每个训练集之外,并且此处的每个表格和图形都由一个脚本从一个被跟踪的结果快照中重新生成。
## 2 相关工作
#### 在平行文本上比较语言。在保持内容不变、让语言变化的设计下,Mielke et al. (2019) (https://arxiv.org/html/2609.12960#bib.bib25) 用来询问哪些语言难以建模,而 Bugliarello et al. (2020) (https://arxiv.org/html/2609.12960#bib.bib10) 从信息论角度采取了同样的步骤,发现从英语翻译出来比翻译进去更容易:这是一个关于方向的陈述,第 5 节 (https://arxiv.org/html/2609.12960#S5) 必须认真对待。关于语言在单位上传达多少信息的差异问题比 NLP 更古老。Pellegrino et al. (2011) (https://arxiv.org/html/2609.12960#bib.bib28) 和 Coupé et al. (2019) (https://arxiv.org/html/2609.12960#bib.bib12) 测量了语音中的信息率,发现音节率和信息密度相互权衡,使得单位时间的传输率保持接近恒定;每个命题的词元数就是应用于词元预算而非信道的归一化。
#### 分词器的不平等及其代价。共享的多语言词表对某些语言比对其他语言消耗更多词元,这会带来金钱和上下文窗口的成本,这已是定论 (Petrov et al., 2023 (https://arxiv.org/html/2609.12960#bib.bib29); Ahia et al., 2023 (https://arxiv.org/html/2609.12960#bib.bib1)),Arnett et al. (2025a) (https://arxiv.org/html/2609.12960#bib.bib5) 解释了这种不平等的来源。Rust et al. (2021) (https://arxiv.org/html/2609.12960#bib.bib30) 表明分词器承担了多语言模型中大部分单语性能差距,Limisiewicz et al. (2023) (https://arxiv.org/html/2609.12960#bib.bib23) 将词表分配和重叠与下游行为联系起来。
#### 分词器度量预测了什么。内在度量是否能预测下游表现存在争议。Bostrom and Durrett (2020) (https://arxiv.org/html/2609.12960#bib.bib8) 和 Gowda and May (2020) (https://arxiv.org/html/2609.12960#bib.bib15) 报告词表构建和大小改变了下游结果,Goldman et al. (2024) (https://arxiv.org/html/2609.12960#bib.bib14) 发现压缩率与性能相关,而 Schmidt et al. (2024) (https://arxiv.org/html/2609.12960#bib.bib33) 认为压缩并非全部解释,Ali et al. (2024) (https://arxiv.org/html/2609.12960#bib.bib2) 发现生育率和均等性是不可靠的预测指标,Uzan et al. (2024) (https://arxiv.org/html/2609.12960#bib.bib38) 表明推理时的分词与词表同等重要;Rényi 效率 (Zouhar et al., 2023 (https://arxiv.org/html/2609.12960#bib.bib40)) 及其反例 (Cognetta et al., 2024 (https://arxiv.org/html/2609.12960#bib.bib11)) 属于同一争论。我们采取其保守立场,不声称词元计数能带来什么。
#### 翻译腔,以及形态丰富的语言。翻译文本与用相同语言原创的文本存在系统性差异 (Koppel and Ordan, 2011 (https://arxiv.org/html/2609.12960#bib.bib19); Volansky et al., 2015 (https://arxiv.org/html/2609.12960#bib.bib39)),其方向改变了评估所衡量的内容 (Graham et al., 2020 (https://arxiv.org/html/2609.12960#bib.bib16));因为每个命题的词元数除以了一个翻译,这关系到此处每个数字中偏差的符号,第 5 节 (https://arxiv.org/html/2609.12960#S5) 按语料库逐个说明。在形态学方面,Klein and Tsarfaty (2020) (https://arxiv.org/html/2609.12960#bib.bib18) 询问词片是否适合复杂形态,Toraman et al. (2023) (https://arxiv.org/html/2609.12960#bib.bib37) 针对土耳其语测量了分词器粒度,Arnett and Bergen (2025) (https://arxiv.org/html/2609.12960#bib.bib4) 在考虑字节溢价后,将形态复杂语言的大部分语言建模差距归因于训练集大小,Arnett et al. (2025b) (https://arxiv.org/html/2609.12960#bib.bib6) 测量了 70 种语言中词元和金标准语素边界的一致性。
#### 本文添加了什么。并非一个新度量:公式 2 (https://arxiv.org/html/2609.12960#S4.E2) 是均等性 (Petrov et al., 2023 (https://arxiv.org/html/2609.12960#bib.bib29)),只是每侧使用了不同的分词器。所添加的是匹配的分母,以及为一种词界被连音变抹去的语言,将生育率与均等性分离开来。
## 3 背景
梵语的四个特征对分词很重要,一旦用 NLP 术语表述,它们都不算新奇。
**连音变 (Sandhi)** 是在语素和词界处的谐音组合。*tat* 加上 *api* 写作 *tadapi*:边界不仅未被标记,其两侧的片段也被改变了。规则在正向是确定性的,逆向是模糊的,这就是为什么连音变分割是一个有自己文献 (Hellwig and Nehrdich, 2018 (https://arxiv.org/html/2609.12960#bib.bib17); Sandhan et al., 2022 (https://arxiv.org/html/2609.12960#bib.bib31); Nehrdich et al., 2024 (https://arxiv.org/html/2609.12960#bib.bib26)) 和数据集 (Krishna et al., 2017 (https://arxiv.org/html/2609.12960#bib.bib20)) 的研究问题。
**复合 (Samāsa)** 是复合:几个词干融合成一个词,只有最后一个发生屈折,因此一个书写词可以承载英语中写成名词短语或关系从句的内容。
**格 (Vibhakti)** 是格词尾,有八个,在名词本身上编码语法角色,取代了英语用介词和功能词表达的大部分内容。
**SLP1** 是一种无损的、每个音素对应一个字符的 ASCII 转写。所有指标都在原始文字和 SLP1 上分别计算,因为选择并非中性的:一个已经覆盖天城体的词表从罗马化中得不到好处,而一个不覆盖的则获益良多。
对测量的后果是本文存在的原因。生育率(Fertility)除以了一个被连音变和复合变小的分母,因此一种用更少、更长词书写的语言因其被测试的属性而受到惩罚,这种惩罚是算术性的而非经验性的。我们报告生育率是为了与分词器不平等文献 (Petrov et al., 2023 (https://arxiv.org/html/2609.12960#bib.bib29); Ahia et al., 2023 (https://arxiv.org/html/2609.12960#bib.bib1); Singh et al., 2024 (https://arxiv.org/html/2609.12960#bib.bib36); Arnett et al., 2025a (https://arxiv.org/html/2609.12960#bib.bib5)) 保持可比性,但绝不以其为标题。
## 4 测量
令 $T$ 为一个分词器,$s$ 为一个句子,$\|T(s)\|$ 为它产生的词元数,$w(s)$ 为 $s$ 中由空格分隔的词数,$b(s)$ 为 $s$ 中的 UTF-8 字节数。下面四个量都是语料库上的总和比率,而非每句比率的平均值,因此一个长句子的贡献与其长度成正比,语料库数值是一个长度加权平均值。第 6.5 节 (https://arxiv.org/html/2609.12960#S6.SS5) 是这变得重要之处。
#### 生育率与压缩率。生育率是每个词的词元数,$\sum_s \|T(s)\| / \sum_s w(s)$,进行报告但绝不作为标题。压缩率是每个词元的字节数,$\sum_s b(s) / \sum_s \|T(s)\|$,在原始文字和 SLP1 上分别计算,因为天城体是每个字符三个 UTF-8 字节,而 SLP1 是一个。
#### 均等性。对于包含相同内容的对齐语料库 $A$ 和 $B$,使用 *同一个* 分词器在两侧打分 (Petrov et al., 2023 (https://arxiv.org/html/2609.12960#bib.bib29)):
$$\mathrm{Par}(T,A,B)=\frac{\sum_i \|T(a_i)\|}{\sum_i \|T(b_i)\|}.\tag{1}$$
#### 每个命题的词元数。这是标题指标。对于梵语源语 $s_i$ 和英语翻译 $e_i$ 的对齐对,使用 *可能不同的* 分词器 $X$ 和 $Y$ 打分:
$$\mathrm{TPP}(X,Y)=\frac{\sum_i \|X(s_i)\|}{\sum_i \|Y(e_i)\|}.\tag{2}$$
翻译的句子对不是一个受控的命题单位;它是目前可用的最佳近似,译者的冗长体现在分母中。“局限性”部分会回到这一点。
#### 匹配的英语对照组。公式 2 (https://arxiv.org/html/2609.12960#S4.E2) 允许 $Y$ 是任何东西,选择决定了答案。将 $Y$ 设为部署的英语分词器衡量的是部署实践,而非语言,因为这样的分词器与梵语模型在词表大小、训练领域以及语言上都有差异。因此我们训练了一个对照组家族 $E_1$,其中 $Y$ 共享梵语模型的算法、词表大小和训练语料库,唯一不同的是它看到了平行文本的哪一侧。两种解读都报告;只有第二种支持关于梵语的声称。
#### 置信区间。每个比率都配有一个配对 bootstrap 区间:对齐对进行有放回重采样,每次重采样重新计算总和比率,并取 1000 次抽样的 95% 百分位区间,种子为 0。配对使得区间有意义,因为一对的两侧是相同的内容。这些语料库内的句子不可交换,因此每个受控比率都有第二个区间,来自对 50 个连续对组成的不重叠块的块 bootstrap:《往世书》(Itihāsa) 测试集是同一史诗的连续诗节,FLORES 开发测试集是其来源文档的连续句子。百分位区间是主要的,也是每个表格打印的;块区间见附录 A.2 (https://arxiv.org/html/2609.12960#A1.SS2),唯一一个在它们之下改变的解读会在做出时指明。同意符号的比较数量是描述性统计而非检验。我们不在任何地方报告困惑度。它无法在不同词表大小的分词器之间比较,而本文中的所有比较都是跨分词器的。
## 5 实验设置
#### 语料库。**FLORES-200 开发测试集** (NLLB Team et al., 2022 (https://arxiv.org/html/2609.12960#bib.bib27)) 提供了 1,012 个跨 `san_Deva`、`hin_Deva` 和 `eng_Latn` 对齐的句子。其英语侧是源文本,其他每种语言都是其专业翻译,因此它是这里唯一一个两种印度语侧都与文本处于相同关系的语料库:梵语与印地语的比较是公平的,而梵语与英语的比较仍然带有翻译长度偏差,且方向一致。**Sāmayik** (Maheshwari et al., 2024 (https://arxiv.org/html/2609.12960#bib.bib24)) 提供当代英梵散文:2,417 个测试对和 4,047 个测试对,分在其发布时称为 `test_ood` 的部分,对于 Sāmayik 训练的领域而言是领域外的,是 Mann ki Baat 广播的转录。**Itihāsa** (Aralikatte et al., 2021 (https://arxiv.org/html/2609.12960#bib.bib...相似文章
跨25种欧洲语言的Tokenizer税:领域不变性、跨语言少样本效应与乌克兰语惩罚
本文在平行文本上测量了25种欧洲语言的分词器标记率,发现从英语到希腊语/马耳他语的差距达到2.5倍,其中乌克兰语承受15-18%的惩罚。研究证明了标记率排名的领域不变性,分析了子词碎片化,并评估了跨语言少样本效应。
非洲语言税:量化前沿大语言模型中分词非洲语言的成本、延迟和上下文惩罚
本文系统量化了20种非洲语言在11个前沿和开源分词器上的分词惩罚,发现推理成本和延迟最高可达8.9倍,有效上下文窗口仅为英语的11%,突显了子词词汇表中编码的结构性数字鸿沟。
一种计算方法测量梵语文学中的语义变化
本文验证了使用历时词嵌入测量梵语语义变化的方法,展示了在复现经文献学证实的语义变迁方面的高准确性,尽管该语言资源匮乏且形态复杂。
BHARATI:面向古典印度语言的形态感知分词器与子词丰富度分析
本文介绍了BHARATI,一组基于SentencePiece BPE的分词器,在针对古典印度语言的平衡多语语料库上训练而成。子词丰富度分析显示,分词效率显著提升,与基线分词器相比,序列长度最多缩短90%,从而提高了下游语言模型的有效上下文长度。
词元边界的代价:压缩证书与预测
本文通过从上下两侧对最小词元数进行界定,量化了分词前边界规则的压缩代价,并证明了在英文维基百科上,正则边界会使最优词元数增加28.3%–36.8%;同时表明,以压缩最优化为目标构建的词元字典并不一定能提升语言模型的预测质量。