byte-level-bpe

本文介绍了BPE引导插入，用于对字节级BPE模型进行事后分词器适配，在保持词汇表大小固定的同时保留大多数token-ID分配。该方法将乌克兰语的token数量减少约33-36%，同时将对英语和其他欧洲语言的影响降至最低。