linguistic-processing

SuTRA是一种形态感知的词元化算法，它保留了印度语言中akshara的不可分割性，减少了形态破碎现象，并在机器翻译指标上相较于标准BPE方法有所提升。