tokenizer-optimization

本文提出了embeddingmagibu-200m，一个专注于土耳其语的句子嵌入模型，通过跨语言分词器手术和离线蒸馏构建，在土耳其语基准测试中取得了强劲性能，同时实现了成本与质量的平衡。