标签
该论文提出了并行预训练（PPT），将文档及其译文拼接在同一个训练序列中，并发现，在相同的词元预算下，先进行 PPT、再进行标准预训练的两阶段方法，相比标准预训练，能够持续提升通用语言理解能力和跨语言表现。
一项覆盖14种语言的大规模研究，探讨跨语言仇恨言论检测的迁移效果，发现语言相似性是最强预测因素，而文化线索与交际规范可部分解释剩余差异。
该论文提出了 Multilingual GSM-Symbolic，一个覆盖 15 种语言、包含 30k 条题目匹配的问答对的符号模板数据集，用于量化大语言模型跨语言能力迁移的决定因素。研究发现，模型规模、语言资源水平、推理能力和类型学距离是关键驱动因素，并提出了一个能解释 92% 语言间差异的框架，其对未见语言性能的预测误差在 6.0 个百分点以内。
本文介绍了针对Icelandic Sign Language的孤立手语识别的首次实验，使用低资源数据集，表明从其他手语的跨语言迁移显著提高了性能。
本文探讨通过利用结构相似性来改进研究论文中序列句子分类的跨语言迁移，并基于编码器和生成模型的实验，提出在多语言环境下提升性能的方法。
本文介绍了PolERo数据集，该数据集包含从罗马尼亚总统演讲记录中提取的3,574个标注问答对，用于研究政治回避。研究评估了多种NLP分类模型，并探讨了跨语言迁移，发现微调编码器表现具有竞争力，而模糊回避类别则具有挑战性。
本研究评估了图卢语在法律理解中的跨语言迁移能力，通过使用转写技术及基于卡纳达语法律文件的RAG系统进行测试，揭示了改进程度依赖于书写系统，并发现了事实替代与幻觉生成等挑战。
本文通过探究文化和语用推理，研究小型日英双语语言模型中的跨语言对齐，引入J-PragEval-v0基准，并提出用于推理时干预的Pragmatic Representation Steering方法。
本文介绍了DonorRank，一种用于低资源跨语言语音识别中选择有效捐赠语言的学习排序框架，并在印度语族和非洲语言语料库上进行了评估。与基于遗传相似性和高资源语言的启发式方法相比，它展示了更好的捐赠语言选择效果，并为多语言ASR的迁移模式提供了见解。
本文利用mT5和成对迁移矩阵，研究了五种突厥语族语言之间的机器翻译跨语言迁移，发现迁移在紧密相关的语言对之间最强，并且在文字不匹配的设置中，拉丁化有所帮助。
本文对面向低资源阿拉伯字母语言的生物医学机器翻译中的跨语言迁移进行了系统研究，以阿拉伯语和波斯语作为枢轴语言。作者评估了LoRA适配器融合作为一种零数据迁移策略，并表明该策略对于达里语等亲缘关系较近的语言效果出乎意料地好。
本文针对ASR模型中转录风格这一未被控制的潜在变量，提出了一种方法，利用覆盖感知的解码器任务令牌实现可调控的逐字转录，并具备准确的词级时间信息，通过零样本跨语言迁移达到了较高的不流畅检测F1值。
本文介绍了KyrgyzLLM-Bench，这是一个用于评估吉尔吉斯语大语言模型的基准测试套件，包含原生创作和翻译数据集，并对26个模型进行了系统评估。
介绍了Tatoxa，一个用于鞑靼语文本去毒化的最先进系统，优于现有的大语言模型。引入了一个新数据集，并表明跨语言迁移的效果比使用原生数据差。
本文提出了一套基于波你尼语法的基准套件，旨在统一跨印度语言的处理，提高准确性、数据效率和可迁移性。
本文实证比较了多种LoRA变体在多语言指令微调中的表现，发现复杂变体在平衡跨语言迁移与知识保留方面相比基本LoRA并无显著优势。
本文介绍了PyLang，一种在所有预训练语料库中都不存在的编程语言，并表明在其上微调的大语言模型可以学习语法但无法迁移算法推理，导致出现“实现忠实度差距”——模型理解算法但无法用不熟悉的语言表达它们。