subword-tokenization

本文介绍了TokEval，一个用于评估语言模型分词器的框架，该框架利用与下游任务性能相关的内在指标。

本文介绍了QuechuaTok，一个用于评估南克丘亚语分词策略的基准，并引入了形态边界准确率（MorphAcc）作为必要指标。结果表明，BPE实现了低碎片率但形态准确性差，而基于形态感知的PRPE分词器达到了83%的MorphAcc，表明仅凭碎片率不足以评估黏着型语言的分词器。

本文通过进行受控的字节级预训练实验，研究了子词分词对LLM训练效率和性能的影响。它揭示了关键因素，如训练吞吐量以及将子词边界作为语言先验的整合。