tokenizer-evaluation

本文介绍了TokEval，一个用于评估语言模型分词器的框架，该框架利用与下游任务性能相关的内在指标。