弥合英语-阿拉伯语医学知识鸿沟：基于因果层选择的定向低秩适配

[ Path = fonts/, Extension = \.otf, UprightFont = \*\-regular, BoldFont = \*\-bold, ItalicFont = \*\-italic, BoldItalicFont = \*\-bolditalic ]
[ Path = fonts/, Extension = \.otf, UprightFont = \*\-regular, BoldFont = \*\-bold, ItalicFont = \*\-italic, BoldItalicFont = \*\-bolditalic ]
[ Path = fonts/, Extension = \.otf, UprightFont = \*\-regular, ItalicFont = \*\-italic ]
弥合英语-阿拉伯语医学知识鸿沟：基于因果层选择的目标低秩适配
Chaimae Abouzahir¹, Musa Khan¹, Hala Ali-Hassan¹, Congbo Ma¹, Khaled Saleh², Yousra Sadqi², Jihad Mallat², Walid Al-Eisawi¹, Nizar Habash¹, Farah E. Shamout¹
¹纽约大学阿布扎比分校 ²克利夫兰诊所阿布扎比分院
[email protected]

###### 摘要

大型语言模型（LLMs）在英语医学任务中表现出色，但在阿拉伯语中大幅退化，这一差距通常被归因于训练数据有限。我们通过调谐透镜探测（tuned lens probing）和因果激活修补（causal activation patching）系统地研究了这一假设，发现阿拉伯语医学知识存在于模型的中间表示中，却未能在输出端显现。这一机制性发现启发了一种有针对性的适配策略：我们提出目标低秩适配（Targeted Low-Rank Adaptation, TLoRA），不微调整个网络，而仅限制在跨语言表示发生分化的层窗口内，该窗口位于失败显现的输出层上游。我们在多项选择医学问答上评估了TLoRA，其表现优于全网络LoRA、零样本和少样本基线。我们进一步在短答案生成和多轮临床对话上进行了评估，结果表明在无需任务特定微调的情况下，它仍具有竞争力。我们还引入了AraClinicDialog，这是一个由临床医生构建的阿拉伯语医学对话基准，采用现代标准阿拉伯语（MSA），并带有四种阿拉伯方言的验证变体。总之，这些贡献表明，机制性诊断可以作为代表性不足语言医学LLMs中目标适配的实用指南。

[ Path = fonts/, Extension = \.otf, UprightFont = \*\-regular, BoldFont = \*\-bold, ItalicFont = \*\-italic, BoldItalicFont = \*\-bolditalic ]
[ Path = fonts/, Extension = \.otf, UprightFont = \*\-regular, BoldFont = \*\-bold, ItalicFont = \*\-italic, BoldItalicFont = \*\-bolditalic ]
[ Path = fonts/, Extension = \.otf, UprightFont = \*\-regular, ItalicFont = \*\-italic ]
弥合英语-阿拉伯语医学知识鸿沟：基于因果层选择的目标低秩适配
Chaimae Abouzahir¹, Musa Khan¹, Hala Ali-Hassan¹, Congbo Ma¹, Khaled Saleh², Yousra Sadqi², Jihad Mallat², Walid Al-Eisawi¹, Nizar Habash¹, Farah E. Shamout¹
¹纽约大学阿布扎比分校 ²克利夫兰诊所阿布扎比分院
[email protected]

## 1 引言

大型语言模型（LLMs）的兴起推动了医疗保健领域的快速发展，各类系统在医学问答、临床语言理解和真实世界诊断预测方面展现出强大性能（Wang et al., 2023b (https://arxiv.org/html/2608.00207#bib.bib58); Nazi and Peng 2024 (https://arxiv.org/html/2608.00207#bib.bib57); Jiang et al., 2023b (https://arxiv.org/html/2608.00207#bib.bib59)）。然而，这种进展主要是在英语中定义和衡量的（Jin et al., 2023 (https://arxiv.org/html/2608.00207#bib.bib25); Joshi et al., 2020 (https://arxiv.org/html/2608.00207#bib.bib24)）。预训练语料库仍然以英语为主，即使是名义上的多语言模型也不例外（Touvron et al., 2023 (https://arxiv.org/html/2608.00207#bib.bib23); Scao et al., 2022 (https://arxiv.org/html/2608.00207#bib.bib22)），用于评估医学能力的基准同样以英语为中心（Qiu et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib71); Pal et al., 2022 (https://arxiv.org/html/2608.00207#bib.bib14); Jin et al., 2019 (https://arxiv.org/html/2608.00207#bib.bib55)）。在英语之外，已有研究表明LLMs在医学任务上的性能会下降（Wang et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib49); Jin et al., 2023 (https://arxiv.org/html/2608.00207#bib.bib25)）。重要的是，这种退化的内在机制仍然鲜为人知，也未得到充分解决，尤其是在低资源和代表性不足的语言中。阿拉伯语有超过4亿使用者，但由于缺乏高质量领域特定数据，在医学LLM训练和评估中代表性仍然不足（Statista, 2023 (https://arxiv.org/html/2608.00207#bib.bib74); Daoud et al., 2026 (https://arxiv.org/html/2608.00207#bib.bib8)）。除了数据可用性之外，阿拉伯语形态丰富，其双言制结构横跨现代标准阿拉伯语（MSA）和缺乏书面标准及资源的方言变体（Habash, 2010 (https://arxiv.org/html/2608.00207#bib.bib66); Moaiad et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib65)）。这些因素使阿拉伯语成为跨语言泛化在医学LLMs中特别具有挑战性的场景。

尽管阿拉伯语医学NLP方面的努力不断增加，性能差距仍然存在，其原因仍未得到详细说明（Abouzahir et al., 2026 (https://arxiv.org/html/2608.00207#bib.bib69)）。现有的提高阿拉伯语医学性能的方法很大程度上将其视为数据问题。领域特定工作，如BiMediX（Pieri et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib72)），依赖于翻译英语医学数据并对结果进行微调。然而，这种方法继承了以英语为中心的临床规范和偏见，同时缺乏本土阿拉伯语基础，而且最近的研究表明，在阿拉伯语医学数据上微调甚至可能在某些基准上降低性能（Saadi et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib54)）。与此同时，通用阿拉伯语LLMs，包括Jais和ALLaM，并非为医学推理而设计，在医学领域基准上表现不佳（Daoud et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib5)）。更广泛的多语言适配方法，例如表示对齐和编码器桥接方法（Zhao et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib7); Yoon et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib35); Huang et al., 2024b (https://arxiv.org/html/2608.00207#bib.bib6)），只能带来有限的改进，并且假定瓶颈在于数据量或语言覆盖范围，而未检验模型内部的失败机制。

关键的是，所有这些方法都将模型视为黑盒：没有一种方法追问失败发生在模型的哪个位置，或者为什么阿拉伯语查询无法引出模型明显具备的知识。我们发现，LLMs中的阿拉伯语医学失败是一种知识路由（knowledge-routing）故障，而非知识缺失。更具体地说，在相同问题的阿拉伯语版本上失败的题目中，模型约有30%能够用英语正确回答（Mistral-Small-3.2-24B在MedAraBench上；见§3 (https://arxiv.org/html/2608.00207#S3)）。通过调谐透镜探测、因果激活修补和KL散度分析，我们将这种故障定位到一个特定的层窗口，并由此得出一种有针对性的适配策略，其设计直接源于机制性证据。我们的贡献如下：

- •据我们所知，我们首次对LLMs中的阿拉伯语医学失败进行了机制性分析，识别出一种特定层窗口内的知识路由故障，这为我们的适配设计提供了动机。
- •我们提出了层目标LoRA，记为TLoRA，并采用跨语言对齐目标，其窗口和探针层均来源于机制性证据。
- •我们介绍了AraClinicDialog，这是一个由临床医生构建的阿拉伯语医学对话基准，采用MSA，并带有四种阿拉伯方言的验证变体。

## 2 相关工作

### 2.1 医疗保健中的LLMs

临床问答基准已成为衡量医学LLMs进展的主要手段，专有系统如GPT-4和Med-PaLM 2现已达到接近专家的性能，医学领域的开源模型如Meditron也在逐步接近这一上限（Singhal et al., 2023 (https://arxiv.org/html/2608.00207#bib.bib19); Nori et al., 2023 (https://arxiv.org/html/2608.00207#bib.bib11); Singhal et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib51); Chen et al., 2023 (https://arxiv.org/html/2608.00207#bib.bib20)）。然而，这些基准是围绕英语临床数据和评估惯例设计的，确立了一种以英语为先的性能标准，其潜在假设是英语优先。超越英语的评估工作已经存在，但仍然受限，依赖从其他源语言翻译（Alonso et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib67)）。

尽管MCQA基准提供了可扩展且可复现的医学知识度量，但它们作为评估临床能力的依据仍然不足，因为这种格式容易受到伪影和结构线索的影响（Cocchieri et al., 2026 (https://arxiv.org/html/2608.00207#bib.bib18)）。因此，最近的工作已将评估扩展到开放式生成和临床对话。例如，Med-PaLM 2引入了对长篇回答的医生偏好判断，AMIE通过盲法OSCE式会诊评估诊断推理，HealthBench和MedHELM则规范了基于量规的自由形式输出评分（Singhal et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib51); Tu et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib21); Arora et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib64); Bedi et al., 2026 (https://arxiv.org/html/2608.00207#bib.bib61)）。然而，与MCQA同类基准一样，这些框架主要是在英语中开发和验证的。

医学LLMs中的跨语言退化已在不同语言和评估范式下被一致记录。在MCQA设置中，MedExpQA报告欧洲语言的平均准确率下降约10个百分点（Alonso et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib67)），而多语言医学模型如Apollo和Apollo-MoE在多语言适配后，在阿拉伯语上仍存在15个百分点的差距（Wang et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib49); Zheng et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib48)）。在MCQA之外，Jin等人（Jin et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib50)）记录了开放式医疗查询中的正确性、一致性和可验证性差异。在每种情况下，退化都被归因于数据稀缺或多语言预训练不足，而未回答失败是否反映了无法检索模型中已经存在的知识这一问题。

### 2.2 阿拉伯语医学LLMs

在阿拉伯语与临床医学的交汇处，LLM的开发基本缺席。专门针对阿拉伯语训练的模型，如Jais和Allam，在标准NLP任务上表现出色，但在临床基准上表现不佳（Daoud et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib5)）。第一波专门工作已经开始通过新基准解决这一问题，这些基准建立了以本土阿拉伯语医学材料为基础的评估（Daoud et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib5), 2026 (https://arxiv.org/html/2608.00207#bib.bib8)），BiMediX则通过双语微调翻译后的临床数据，代表了首个专门构建的阿拉伯语医学LLM（Pieri et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib72)）。模型适配工作存在一些共同局限。首先，训练和评估数据主要来自英语翻译流水线，而非本土阿拉伯语临床来源。所有现有工作都将阿拉伯语医学能力差距框定为数据覆盖和双语监督的问题，而非表征访问的问题。一项研究（Abouzahir et al., 2026 (https://arxiv.org/html/2608.00207#bib.bib69)）通过跨语言实证分析证实了这一差距的一致性和领域特定性，但未进一步给出机制性解释。

### 2.3 跨语言迁移与表示对齐

这一差距的机制基础已在更广泛的多语言文献中得到确立。多语言LLMs通过以英语为中心的潜在路径处理非英语输入，跨语言预测失败恰好集中在中间层，因为在那里与英语的对齐中断（Wendler et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib46); Schut et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib47)）。这种失败是因果性的：在这些层修补英语隐藏状态可以在大多数失败案例中恢复正确预测，并且它不成比例地影响知识检索而非抽象推理，这表明对存储知识的表征访问是主要瓶颈（Ravishankar et al., 2026 (https://arxiv.org/html/2608.00207#bib.bib44); Hu et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib40); Ifergan et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib42)）。这种错位可以通过平行表示之间的对齐分数来衡量（Kargaran et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib39); Hämmerl et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib38)），在类型学距离远、形态复杂的语言中尤为严重，使阿拉伯语成为一个关键且尚未充分探索的测试案例。

领域适配中跨语言知识迁移的动态最近才得到研究。例如，Kobayashi等人（Kobayashi et al., 2025 (https://arxiv.org/html/2608.00207#bib.bib26)）表明，英语生物医学语料库支持低资源日语医学适配，但迁移对语料库组成高度敏感；而Zhao等人（Zhao et al., 2026 (https://arxiv.org/html/2608.00207#bib.bib37)）追踪了多语言医学适配过程中领域事实的记忆和泛化，发现即使在高质量双语训练下，迁移仍然具有挑战性。然而，这两项研究都是在行为层面通过性能曲线和学习动态来分析迁移，并且研究的都是相对高资源的语言对。我们的工作将此方向扩展到阿拉伯语医学，这是一个类型学上距离远且形态复杂的场景，并将行为失败与表征机制联系起来：即阿拉伯语隐藏状态是否仍足够对齐，以访问以英语为基础存储的医学知识。

参见图注
图1：Mistral-Small-3.2-24B目标适配的机制性动机：(a) 调谐透镜探测，(b) 因果激活修补，(c) 跨语言KL散度图。

现有适配方法可分为三类，没有一种针对上述表征根源问题。重学习方法（Cui et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib33); Wang et al., 2023a (https://arxiv.org/html/2608.00207#bib.bib32)）虽然能提高目标语言性能，但会侵蚀跨语言结构，在零样本生成中引发灾难性遗忘（Vu et al., 2022 (https://arxiv.org/html/2608.00207#bib.bib31)），并在注入医学概念周围引发邻近依赖遗忘（Liu and Niehues, 2025 (https://arxiv.org/html/2608.00207#bib.bib30); Zhou et al., 2026 (https://arxiv.org/html/2608.00207#bib.bib29)）。外部桥接方法通过跨语言提示、可训练桥接参数或辅助多语言编码器来路由非英语推理（Huang et al., 2023 (https://arxiv.org/html/2608.00207#bib.bib36); Yoon et al., 2024 (https://arxiv.org/html/2608.00207#bib.bib35); Huang et al., 2024b (https://arxiv.org/html/2608.00207#bib.bib6)），避免了完全重学习，但引入了需要额外训练的外部组件，并且没有利用模型现有的英语领域表示。据我们所知，此前没有任何方法将领域特定知识访问失败的机制性诊断与有针对性的适配策略结合起来，利用模型自身的英语隐藏状态作为对齐锚点，无论是在阿拉伯语还是其他语言中。

## 3 Mec