crosslingual

BLOOMZ 和 mT0 是在跨语言任务混合 xP3 上微调的多语言模型，能够在数十种语言中实现零样本指令遵循。

本文对LLM在22种语言中的九种不确定性估计方法进行了大规模评估，发现提示模型用英语推理可改善低资源语言的不确定性估计，且方法的选择取决于模型规模。

本文提出了跨语言在线策略自蒸馏（COPSD）方法，该方法通过共享的学生-教师架构，将高资源语言的推理能力迁移到低资源语言中。在17种非洲语言上的实验表明，该方法的数学推理能力和答案格式遵循度均得到显著提升，性能优于组相对策略优化（GRPO）。