方言能否像语言一样被引导？阿拉伯语大语言模型中的稀疏神经元与分布式方向

# 方言能否像语言一样被引导？阿拉伯语大语言模型中的稀疏神经元与分布式方向
来源：https://arxiv.org/html/2607.03936

Kareem Elozeiri¹, Mervat Abassy¹\*, Omar Kallas¹, Fahim Dalvi², Preslav Nakov¹, Kentaro Inui¹,³,⁴, Nadir Durrani²

¹穆罕默德·本·扎耶德人工智能大学
²卡塔尔计算研究所，哈马德·本·哈利法大学
³东北大学
⁴RIKEN

{kareem.ali, mervat.abassy}@mbzuai.ac.ae

###### 摘要

阿拉伯语自然语言处理面临的一个关键挑战是，方言数据相对于现代标准阿拉伯语（MSA）极为稀缺，这导致大语言模型过度生成MSA，难以生成准确的方言表达。从可解释性的角度出发，这引出了一个根本性问题：方言特征在模型内部编码于何处、以何种方式存在？这些表征能否被利用，在不进行微调的情况下改善方言生成？本研究探讨了两种互补的推理时方法，它们同时作为可解释性探针和控制机制。首先，我们进行神经元层面的分析，识别编码方言特定特征的稀疏神经元群体，并表明增强或抑制这些神经元可以将模型输出引导至目标方言。其次，鉴于单个神经元层面方言特征的纠缠性，我们应用一种向量引导方法，提取方言特定的激活方向，并在推理过程中注入。这两种方法共同揭示了阿拉伯语大语言模型中方言知识的几何结构，并提供了一个基于可解释性的、原则性的方言控制框架，无需针对特定方言进行微调。¹¹¹代码和资源可在https://github.com/mbzuai-nlp/arabic-dialect-steeling 获取。

## 1 引言

阿拉伯语大语言模型（LLMs）在标准基准测试中取得了显著进展，但在阿拉伯方言上仍然表现不佳Robinson et al. (2025 (https://arxiv.org/html/2607.03936#bib.bib18))。这在一定程度上反映了其训练数据：现代标准阿拉伯语（MSA）在大多数阿拉伯语大语言模型的预训练语料中占据主导地位，而方言文本则相对稀缺且来源不一致Bari et al. (2025 (https://arxiv.org/html/2607.03936#bib.bib4))。因此，模型常常默认输出MSA，或生成混合了不同方言的输出。Nacar (2025 (https://arxiv.org/html/2607.03936#bib.bib15)) 在 ALLaM 34B 中记录了这一模式，其中汉志方言和埃及方言的提示词持续引发MSA风格的回答，限制了该模型在对话代理、文化内容生成以及其他需要方言真实性的应用中的实用性。

参见图注

Figure 1: 一个埃及阿拉伯语提示词的非引导、神经元引导和向量引导输出示例。两种引导方法都使模型远离类似MSA的回答，转向更真实的方言生成，其中向量引导产生了最口语化的输出。

最近关于可解释性的研究表明，大语言模型中的语言行为可以被定位或线性控制：神经元可以编码与语言相关的特征，激活空间中的方向可以引导生成朝向目标属性Tang et al. (2024 (https://arxiv.org/html/2607.03936#bib.bib19)); Rahmanisa et al. (2025 (https://arxiv.org/html/2607.03936#bib.bib16)); Turner et al. (2024 (https://arxiv.org/html/2607.03936#bib.bib21)); Rimsky et al. (2024 (https://arxiv.org/html/2607.03936#bib.bib17)); Chen et al. (2025 (https://arxiv.org/html/2607.03936#bib.bib6))。这些发现对阿拉伯方言提出了一个自然的问题：方言特征是否允许类似的局部控制，还是说阿拉伯语变体之间的词汇和句法连续性使其更加分散？这个问题之所以重要，是因为方言并非具有清晰边界的独立语言；它们与MSA以及彼此之间共享词汇、形态和正写法。这项任务带来了独特的挑战：与独立的语言不同，阿拉伯方言具有高度的词汇和句法重叠，方言边界模糊而非离散Habash (2010 (https://arxiv.org/html/2607.03936#bib.bib12))，这使得在神经元层面解开方言特征变得更加困难。

为应对这些开放挑战，本研究调查了两种截然不同但又互补的推理时策略，用于阿拉伯语大语言模型中的方言控制。第一种策略研究阿拉伯语大语言模型是否编码了特定方言的神经元，以及操纵这些神经元是否能将生成引导至目标方言。第二种策略采取了更广泛的表征视角，询问是否可以从模型的激活空间中提取特定方言的方向，并在推理过程中注入，从而在无需微调或修改的情况下实现更稳健的方言保真度。

#### 研究问题：我们提出三个问题：
1.  1. 尽管阿拉伯方言与MSA以及彼此之间存在词汇和句法重叠，它们是否能够像语言一样被引导？
2.  2. 方言特征是局部化在神经元群体中，分散在残差空间中，还是两者兼有？
3.  3. 哪种推理时干预提供更可靠的方言控制：神经元层面引导还是激活向量引导？

我们的结果揭示了一幅微妙的图景：阿拉伯方言既没有被编码为完全孤立的神经元层面模块，也不是完全弥散的行为。相反，方言信息既稀疏又分散。我们发现，与方言相关的神经元集中在面向生成的后期层中，MSA与口语方言明显分离，且区域性方言之间存在大量共享。然而，这些稀疏神经元只捕捉了更广泛的残差空间方言方向的部分投影。这解释了为什么神经元引导能够强化方言行为，但分布式的激活向量引导提供了更可靠的控制。总之，这些发现表明，阿拉伯方言变体在大语言模型的表征空间中形成了一个结构化的、可因果引导的维度。据我们所知，这是首次研究表明，通过稀疏的神经元层面机制和分布式的激活空间方向，阿拉伯方言在大语言模型中可以因果地被引导。

## 2 方法论

我们研究两种用于阿拉伯方言控制的推理时干预措施。基于神经元的引导作用于稀疏的、与方言相关的MLP神经元，而向量引导则作用于从对比性方言-MSA对中提取的特定方言方向。两者都保持模型权重不变，并作为方言表征的因果探针。

### 2.1 基于神经元的方言引导

我们测试是否可以通过稀疏的神经元层面干预来控制方言行为。遵循Tang et al. (2024 (https://arxiv.org/html/2607.03936#bib.bib19)) 中基于LAPE的框架，我们识别与方言相关的MLP神经元，并在解码过程中重新缩放其激活，以将生成引导至目标方言。

#### 神经元识别：
我们将与方言相关的神经元视为那些对某一种阿拉伯方言频繁激活，但在不同方言间具有选择性的神经元。设 \(L\) 为用于提取的方言集合，\(S_k\) 为方言 \(k \in L\) 的词元化语料库，\(T_k = \{(s, t): s \in S_k, 1 \leq t \leq |s|\}\) 为该语料库中句子-词元位置对的集合。对于层 \(i\) 中的神经元 \(j\)，其标量激活值为 \(\operatorname{act}(i, j; s, t)\)，我们估计其对方言 \(k\) 的激活概率为 \(\hat{p}^k_{i,j} = \mathbb{E}_{(s,t) \in T_k} \left[ \mathbf{1}\{\operatorname{act}(i, j; s, t) > 0\} \right]\)。我们将这些概率跨方言收集为 \(p_{i,j} = [\hat{p}^k_{i,j}]_{k \in L}\)，并将向量归一化为单位 \(l_1\) 范数，得到 \(p'_{i,j}\)。LAPE分数是该归一化分布的熵：
\(\operatorname{LAPE}_{i,j} = -\sum_{k \in L} {p'}^k_{i,j} \log {p'}^k_{i,j}\)。低LAPE表示该神经元对少数方言具有选择性。我们选择在至少一种方言的激活概率中位于前 \(n\%\)，且在所有神经元中LAPE分数位于后 \(m\%\) 的神经元作为与方言相关的神经元，其中 \(n\) 和 \(m\) 是选择百分位的超参数。这些神经元随后被用作推理时引导的目标。

#### 神经元引导：
我们在推理时通过重新缩放所选与方言相关的MLP神经元的激活来引导模型，保持模型参数不变。对于目标方言 \(k\)，令 \(\mathcal{D}_k(i)\) 表示层 \(i\) 中选定的目标方言神经元集合。我们定义 \(\mathcal{D}_{\mathrm{MSA}}(i)\) 为选定的MSA神经元集合，并可选择定义 \(\mathcal{D}_{\mathcal{C}}(i)\) 为非目标竞争方言选定神经元的并集。令 \(a_{i,t,j}\) 为解码步 \(t\) 时层 \(i\) 中神经元 \(j\) 的激活。我们应用以下乘法更新：
\(\tilde{a}_{i,t,j} = \lambda_{i,j} a_{i,t,j}\)，
其中
\(\lambda_{i,j} = \begin{cases} \alpha, & j \in \mathcal{D}_k(i), \\ \gamma, & j \in \mathcal{D}_{\mathrm{MSA}}(i), \\ \gamma_{\mathrm{comp}}, & j \in \mathcal{D}_{\mathcal{C}}(i), \\ 1, & \text{否则.} \end{cases}\)
这里，\(\alpha\) 是目标方言放大因子，\(\gamma\) 是MSA抑制因子，\(\gamma_{\mathrm{comp}}\) 是可选的竞争方言抑制因子。我们使用 \(\alpha > 1\) 来强化目标方言神经元，使用 \(\gamma, \gamma_{\mathrm{comp}} < 1\) 来抑制MSA和非目标方言神经元。因此，解码偏向目标方言，同时权重保持不变。

### 2.2 向量引导

虽然神经元层面的引导提供了细粒度的可解释性，但阿拉伯语大语言模型中的方言特征可能同时分布在许多神经元上，使得孤立的神经元干预不足。为解决这个问题，我们探索了一种互补的表征层面方法：向量引导Turner et al. (2024 (https://arxiv.org/html/2607.03936#bib.bib21)); Rimsky et al. (2024 (https://arxiv.org/html/2607.03936#bib.bib17))，它作用于层的完整激活空间，而非单个神经元。

#### 引导向量提取。
对于目标方言 \(k\) 和对比变体（MSA），我们收集一个平行句子对语料库 \(\{(s^k_i, s^{\text{MSA}}_i)\}_{i=1}^N\)。每个句子独立通过模型，我们提取层 \(l\) 上所有响应词元的平均隐藏状态激活，记为 \(h^l(s)\)。然后，方言引导向量计算为方言和MSA激活之间的平均差异：
\(v^k_l = \frac{1}{N} \sum_{i=1}^N \left( h^l(s^k_i) - h^l(s^{\text{MSA}}_i) \right)\)
这个差异向量编码了在激活空间中从MSA向方言 \(k\) 移动的方向性偏移，捕捉了可能不局限于任何单个神经元的分布式方言特征。关键在于，由于激活是从模型的响应词元而非输入词元中提取的，该向量反映了模型生成的方言行为，而非其对输入的编码，使其成为生成时干预的更直接目标。

#### 推理时注入：
在生成过程中，我们在层 \(l\) 注册一个前向钩子，该钩子在每个词元生成步骤拦截激活张量，并原地添加缩放后的引导向量：
\(h^l_{\text{new}} = h^l + \alpha \cdot v^k_l\)，
其中 \(\alpha\) 是一个标量系数，控制干预的强度。下游层随后接收修改后的激活，并相应地生成受方言影响的词元。无需重新训练或参数更新。

## 3 实验

### 3.1 实验设置

#### 模型。
我们实验两个以阿拉伯语为中心的大语言模型：ALLaM-7B-Instruct-previewBari et al. (2025 (https://arxiv.org/html/2607.03936#bib.bib4)) 和 Fanar-1-9B-InstructFanar Team et al. (2025 (https://arxiv.org/html/2607.03936#bib.bib10))。两者都专门针对阿拉伯语进行了指令微调。ALLaM包含32个Transformer层，而Fanar有42层。在两种模型上进行实验，使我们能够评估这些发现是否适用于在不同阿拉伯语语料库上训练并采用不同指令微调过程的架构。

#### 方言与数据。
消融实验在埃及阿拉伯语（开罗）和摩洛哥阿拉伯语（拉巴特）上进行，因为这些方言既提供较大量的平行数据用于引导向量提取，又在本工作使用的基准测试中可直接进行评估。选择它们还因为它们代表了在语言上多样化且彼此之间差异显著的方言，从而可以对提出的方法进行更有信息量的分析。最终模型性能在四个更广泛的方言组上进行评估：埃及、摩洛哥、黎凡特和海湾阿拉伯语。引导向量和特定方言神经元使用来自MADAR语料库的平行方言数据提取。具体来说，开罗、拉巴特、贝鲁特和多哈各提供12,000个句子对，用于引导向量提取和神经元识别。相比之下，利雅得和阿勒颇各仅提供2,000个句子对。在评估中，开罗和拉巴特直接映射到埃及和摩洛哥的基准子集。贝鲁特和阿勒颇使用叙利亚子集进行评估，因为它们是基准测试中最接近的可用方言，而多哈和利雅得则在沙特子集上进行评估。

#### 评估。
主要评估使用第3.2节 (https://arxiv.org/html/2607.03936#S3.SS2) 中描述的LLM作为评判者协议。我们还使用AL-QASIDA基准作为补充的自动评估指标。对于每种方言中表现最佳的模型配置，收集人工标注，以衡量与LLM评判者之间的一致性。

### 3.2 LLM作为评判者

我们评估生成质量，使用Gemini 2.5 FlashComanici et al. (2025 (https://arxiv.org/html/2607.03936#bib.bib7))作为评判者。每个回答根据目标方言在四个整数评分（1–5）维度上独立评估：方言真实性、连贯性、阿拉伯语流利度以及MSA正式度。前三个作为质量度量，而MSA正式度用于诊断，以捕捉向正式现代标准阿拉伯语的偏移。我们在所有被评判的样本上报告每个维度的平均分数。完整的提示词、评分细则和实现细节在附录D.1 (https://arxiv.org/html/2607.03936#A4.SS1) 中。

### 3.3 人工评估

对于每项人工评估任务，我们招募了八名阿拉伯语标注员，每种方言两人一组。他们使用与LLM作为评判者设置相同的1–5维度。模型身份对标注员隐藏，以减少偏差。对于每个输出和度量，