homographs

本文研究了多语言分词器如何处理跨语言同形词（不同语言中拼写相同但含义不同的词），并提出了一种轻量级的语言线索干预方法，通过引入语言特定字符来减少分词共享。实验表明，在机器翻译中，特别是在BPE分词下，该方法带来了适度的改进。