tokenizer-transplantation

本文提出了一种适用于Moonshine等轻量级ASR模型的分词器移植流程，以解决孟加拉语中的自回归崩溃问题。通过将以英语为中心的分词器替换为BanglaBERT的WordPiece词汇表，词元繁殖度从9.16降至1.30，序列长度减少85.8%，在Lipi-Ghor数据集上实现了21.54%的词错误率（WER）。