东干语的形态核心:双方言有限状态模型与多体裁评估

arXiv cs.CL 论文

摘要

提出了一种用于东干语的双方言有限状态形态分析器,并通过多体裁评估来衡量词形变化、歧义和词汇覆盖情况。

arXiv:2607.28766v1 公告类型:新 摘要:东干语是中亚的一种汉语族语言,使用基于西里尔字母的文字。在语法文献中已有详细描述,但据我们所知,其形态在实际使用中的量化特性从未被系统测量过。本文使用有限状态形态分析器作为测量工具。该模型使用HFST实现,覆盖两个方言群(作为文学标准的甘肃方言和陕西方言),并未提供新的语法描述;而是将东干语研究中积累的知识形式化,并使其可在三种体裁的语料库上进行测量。由此得到三个结果。显性屈折罕见且有限:在百科语域中,只有9.3%的被识别词元带有显性标记,系统仅有十个范畴,级度标记几乎不存在。歧义真实存在但高度局部化:78.1%的词元获得单一分析,其余几乎全部集中在两个附缀上:-di(属格/进行体)和 -ni(方位/预期体)。语法核心实际上是封闭的——这正是真正需要该工具的主张:分析器无法识别的词元中,78%至95%(因语域而异)只是不在词表中,而模型有意不实现的现象在这些失败中至多占4.5%。留出覆盖率为80%到85%,不低于开发覆盖率(73%);而没有形态的词干表已达到67.4%,因此形态分析的价值为5.2个百分点。东干语的开放前沿是词汇层面。分析器、其数据来源及所有评估脚本均已公开释放。
查看原文
查看缓存全文

缓存时间: 2026/08/03 07:33

# 东干语的形态核心:双方言有限状态模型与多文类评测

**Anton M. Alekseev**
St. Petersburg Department of the Steklov Mathematical Institute, RAS  
St. Petersburg State University  
Kyrgyz State Technical University named after I. Razzakov

**Sergey I. Nikolenko**
St. Petersburg Department of the Steklov Mathematical Institute, RAS  
St. Petersburg State University

###### 摘要

东干语是分布在中亚的一种汉语族语言,使用基于西里尔字母的文字。语法文献对其有详细描述,但据我们所知,其形态在实际使用中的定量性质从未被系统测量过。本文把有限状态形态分析器用作测量工具。该模型用 HFST 实现,覆盖两个方言组——甘肃方言(文学标准语)和陕西方言——并不提供新的语法描写;它把东干语研究中积累的知识形式化,并使其在三个文类的语料上可以测量。由此得到三个结果。显性屈折罕见且有限:在百科性语体中,只有 9.3% 的被识别词形带有显性标记;系统只有十个范畴;级标记几乎不存在。歧义真实存在但高度局部化:78.1% 的词形得到单一分析,其余歧义几乎全部分布在两个附着词上:-ди(属格/进行体)和 -ни(方位格/将行体)。语法核心实际上是封闭的——这正是真正需要该仪器来检验的主张:分析器无法处理的词形中,按语体不同有 78% 至 95% 只是不在词表中,而模型有意不实现

相似文章