crosslingual

本文研究了多语言分词器如何处理跨语言同形词（不同语言中拼写相同但含义不同的词），并提出了一种轻量级的语言线索干预方法，通过引入语言特定字符来减少分词共享。实验表明，在机器翻译中，特别是在BPE分词下，该方法带来了适度的改进。

BLOOMZ 和 mT0 是在跨语言任务混合 xP3 上微调的多语言模型，能够在数十种语言中实现零样本指令遵循。

本文对LLM在22种语言中的九种不确定性估计方法进行了大规模评估，发现提示模型用英语推理可改善低资源语言的不确定性估计，且方法的选择取决于模型规模。

本文提出了跨语言在线策略自蒸馏（COPSD）方法，该方法通过共享的学生-教师架构，将高资源语言的推理能力迁移到低资源语言中。在17种非洲语言上的实验表明，该方法的数学推理能力和答案格式遵循度均得到显著提升，性能优于组相对策略优化（GRPO）。