东干语的形态核心:双方言有限状态模型与多体裁评估
摘要
提出了一种用于东干语的双方言有限状态形态分析器,并通过多体裁评估来衡量词形变化、歧义和词汇覆盖情况。
arXiv:2607.28766v1 公告类型:新
摘要:东干语是中亚的一种汉语族语言,使用基于西里尔字母的文字。在语法文献中已有详细描述,但据我们所知,其形态在实际使用中的量化特性从未被系统测量过。本文使用有限状态形态分析器作为测量工具。该模型使用HFST实现,覆盖两个方言群(作为文学标准的甘肃方言和陕西方言),并未提供新的语法描述;而是将东干语研究中积累的知识形式化,并使其可在三种体裁的语料库上进行测量。由此得到三个结果。显性屈折罕见且有限:在百科语域中,只有9.3%的被识别词元带有显性标记,系统仅有十个范畴,级度标记几乎不存在。歧义真实存在但高度局部化:78.1%的词元获得单一分析,其余几乎全部集中在两个附缀上:-di(属格/进行体)和 -ni(方位/预期体)。语法核心实际上是封闭的——这正是真正需要该工具的主张:分析器无法识别的词元中,78%至95%(因语域而异)只是不在词表中,而模型有意不实现的现象在这些失败中至多占4.5%。留出覆盖率为80%到85%,不低于开发覆盖率(73%);而没有形态的词干表已达到67.4%,因此形态分析的价值为5.2个百分点。东干语的开放前沿是词汇层面。分析器、其数据来源及所有评估脚本均已公开释放。
查看缓存全文
缓存时间: 2026/08/03 07:33
# 东干语的形态核心:双方言有限状态模型与多文类评测 **Anton M. Alekseev** St. Petersburg Department of the Steklov Mathematical Institute, RAS St. Petersburg State University Kyrgyz State Technical University named after I. Razzakov **Sergey I. Nikolenko** St. Petersburg Department of the Steklov Mathematical Institute, RAS St. Petersburg State University ###### 摘要 东干语是分布在中亚的一种汉语族语言,使用基于西里尔字母的文字。语法文献对其有详细描述,但据我们所知,其形态在实际使用中的定量性质从未被系统测量过。本文把有限状态形态分析器用作测量工具。该模型用 HFST 实现,覆盖两个方言组——甘肃方言(文学标准语)和陕西方言——并不提供新的语法描写;它把东干语研究中积累的知识形式化,并使其在三个文类的语料上可以测量。由此得到三个结果。显性屈折罕见且有限:在百科性语体中,只有 9.3% 的被识别词形带有显性标记;系统只有十个范畴;级标记几乎不存在。歧义真实存在但高度局部化:78.1% 的词形得到单一分析,其余歧义几乎全部分布在两个附着词上:-ди(属格/进行体)和 -ни(方位格/将行体)。语法核心实际上是封闭的——这正是真正需要该仪器来检验的主张:分析器无法处理的词形中,按语体不同有 78% 至 95% 只是不在词表中,而模型有意不实现
相似文章
Dango:一个严格仅限L1的大型语言模型,用于研究第二语言习得
Dango是一个18亿参数的大型语言模型,严格使用日语(L1)进行预训练,然后使用英语(L2)进行微调,以研究第二语言习得中的语言迁移效应。该模型从预训练语料库中过滤掉英语污染,并展现出类似人类的L2输出模式。
MORPHOGEN:评估性别感知形态生成的多语言基准
研究者发布 MORPHOGEN,一个多语言基准,用于测试大模型能否在法语、阿拉伯语和印地语中将第一人称句子改写为相反性别,同时保留原意。
YallaMorph: 评估大型语言模型中阿拉伯语形态生成的基准测试
YallaMorph 是一个大规模基准测试,用于评估大型语言模型中受控的阿拉伯语形态生成,揭示了在粘着形式和形态罕见形式方面的重大挑战。
5-Dialects-BN:揭示转写对孟加拉方言大语言模型的影响
本文介绍了5-Dialects-BN,一个针对五种孟加拉方言的手动标注基准数据集,包含对齐的转写和翻译,旨在提升方言感知大语言模型的评估。
DiaLLM:英语方言适应中鲁棒性与生成能力差距的研究
本文介绍了DiaLLM,一个将LLMs适应英语方言的框架,揭示了方言鲁棒性(理解)与生成(产生方言文本)之间的差距,并表明明确的变体目标对齐能改进生成,但不一定符合人类偏好。