sentencepiece

本文介绍了BHARATI，一组基于SentencePiece BPE的分词器，在针对古典印度语言的平衡多语语料库上训练而成。子词丰富度分析显示，分词效率显著提升，与基线分词器相比，序列长度最多缩短90%，从而提高了下游语言模型的有效上下文长度。