Falcon-Emirati：当大语言模型学会了方言、文化与言外之意

来源：https://huggingface.co/blog/tiiuae/falcon-emirati 图片 (https://cdn-uploads.huggingface.co/production/uploads/659bc8a7b0f43ed69f0b2300/Wq7IUqy86uY6JcIpgCwJx.png)

体验 Falcon Emirati → (https://chat.falconllm.tii.ae/?model=Falcon-Emirati-7B)

阿拉伯语其实是一个共用同一个名字的语言大家族。新闻和教科书里读到的是现代标准阿拉伯语（MSA），但人们日常聊天几乎不用它。在阿联酋，日常对话、幽默、谈判和讲故事都用的是阿联酋阿拉伯语——一种海湾方言，拥有自己的词汇、自己的节奏，以及紧紧包裹在其中的文化。阿联酋诗歌（尤其是 nabati 诗歌）、谚语和小故事里承载的意义，是逐字逐句的直译无法传达的。一个只懂 MSA 的模型，即便能把阿联酋语句子的每个词都翻译出来，也可能完全错过它真正的含义。

这正是 Falcon-Emirati-7B 要弥合的差距。它是一个在 Falcon-H1-Arabic 基础之上构建的方言专用模型，目标是像母语者那样理解和生成阿联酋阿拉伯语：词汇、语气，以及背后的文化语境。

构建于 Falcon-H1-Arabic 之上

我们并非从零开始。Falcon-Emirati-7B 构建于 Falcon-H1-Arabic 之上——这是我们今年早些时候为阿拉伯语设立新基准的模型家族。Falcon-H1-Arabic 采用 Falcon-H1 混合架构：State Space Models（Mamba）与 Transformer 注意力在每个 block 内并行运行，二者的输出在每个 block 的 projection 之前融合。这种组合在长序列上保留了 Mamba 的线性时间效率，同时保持了注意力机制处理长距离依赖的精度——这对阿拉伯语这种形态丰富的语言尤为重要。该家族涵盖三个规模（3B、7B 和 34B 参数），上下文窗口最高达 128K 和 256K tokens，并且已经用 MSA 和各方言阿拉伯语（海湾、黎凡特、埃及、马格里布）以及英语和多语言数据进行了预训练。

这给了我们一个很好的起点：一个已经广泛理解阿拉伯语、能很好地处理长上下文、并且已经接触到一些方言内容的模型。Falcon-Emirati-7B 在这个基础上，专门向阿联酋方言推进——词汇、语法，以及一个通用阿拉伯语模型无论多么强大也无法自行习得的文化知识。

我们专门基于 7B 变体构建 Falcon-Emirati-7B。它是这个家族中的最佳平衡点：足够大，能够承载方言适配所需的细腻理解；又足够小，使训练和推理都保持实用。34B 模型或许能把质量再往上推一点，但其训练和服务成本对一个方言专用聊天模型而言并不合理；而 3B 模型留下的余量又不足以支撑我们追求的文化与语言理解深度。7B 在质量与训练、推理成本之间给了我们最好的平衡。

方言适配为何困难

把一个通用阿拉伯语模型变成阿联酋方言专家，听起来像是比从头构建基础模型更小的工作量。其实不然。有几点让它确实很难：

• 阿联酋阿拉伯语主要是口语方言。 它在网络书写中的出现远少于 MSA，甚至少于其他海湾和黎凡特方言，所以可供学习的原始文本本来就不多。
• 含义往往是非字面的。 成语、谚语和诗歌引用依赖共享的文化语境，而非表层词汇。
• 没有现成的方案。 关于需要多少方言数据、如何与 MSA 和通用阿拉伯语混合，或者哪个训练阶段（继续预训练、SFT 还是偏好优化）对习得方言最关键，都没有一份有据可查的配方。

最后一点决定了我们的工作方式。构建 Falcon-Emirati-7B 的很大一部分工作是反复试错：测试不同的数据配比、训练阶段和监督策略，并结合人工判断和基准分数，找出真正有效的那些改动。

我们的数据方法

我们在 Falcon-H1-Arabic 预训练的基础上构建了一条专门的阿联酋数据 pipeline，依托三个互补的数据来源。

1. 真实的阿联酋方言网络数据

我们爬取并整理了以方言原生书写的内容——来自阿联酋的网站和论坛，而不是从 MSA 翻译或转写而来的。这是我们获取 ground truth 的地方：阿联酋人在网络上真实的书写和说话方式、日常表达、口语化说法，以及实际使用中阿联酋语与 MSA 之间自然的交替往来。

2. 关于阿联酋文化与身份的 MSA 数据

在方言文本之外，我们还引入了专门关于阿联酋文化、遗产和语言的 MSA 文本：关于当地习俗、价值观、历史和社会规范的文章与参考资料，包括阿联酋人被如何看待以及被如何刻板印象化。这些内容并不能教会模型用方言写作，但它教会模型：当阿联酋相关话题出现时，它到底在谈论什么——遗产、礼仪，以及母语者天然知晓的那些背景。

3. 由词汇表和文体规则引导的合成数据

仅靠真实的方言文本，并不足以覆盖一个聊天模型日常真正需要应对的话题范围。因此我们生成了大量阿联酋方言的合成数据来填补空缺。我们没有让生成模型随意写成“海湾风味“的阿拉伯语，而是用严格的规则和专为阿联酋词汇与语法构建的词汇表、词典加以约束。这些约束性设计，决定了合成输出究竟是读起来地道的阿联酋语，还是语法上没错、但任何一个真正会说这门方言的人都觉得味道不对的文本。

找到正确的适配配方

由于 MSA 到方言的适配没有标准配方，我们把训练策略本身当作一件需要通过实验摸索的事情。我们做了多组消融实验：注入多少方言数据、在哪个训练阶段注入，如何平衡真实爬取数据与合成数据（避免模型过拟合到合成模式），以及到底需要多少 MSA 文化背景才能让它真正扎根于文化，而不只是表面流畅。每一步我们都结合了自动评分与母语者评审，因为单靠自动指标不足以可靠地衡量自然度、语气和文化契合度。

评估方法

我们在整个训练过程中用两种互补的方式跟踪进展：

母语者的主观评估

阿联酋母语者直接评审模型输出，判断的不只是答案是否正确，还包括它“听起来对不对“：自然度、语气、文化上的恰当性。这些是基准分数告诉不了你、但母语者的耳朵立刻就能察觉的东西。

基于 Alyah 的自动评估

为了进行定量跟踪，我们使用了 Alyah（https://huggingface.co/datasets/tiiuae/alyah-emirati-benchmark）（الياه，意为“北极星“），这是我们与社区共同发布的、专门用于评估阿拉伯语大模型阿联酋方言能力的基准。Alyah 是一个完全由母语者构建的选择题基准，包含 1,173 个样本，由阿联酋母语者人工采集，涵盖的类别从日常问候和礼仪，到比喻语言、遗产知识和阿联酋诗歌——这些正是方言与文化最要紧、而通用阿拉伯语模型往往最吃力的类别。关于 Alyah 构建方式与类别分布的完整细节，参见我们的 基准博客文章；关于基础模型家族的背景，参见 Falcon-H1-Arabic 发布文章。

结果

Falcon-Emirati-7B 在 Alyah 上得分 84.83%，领先于我们对比的每一个其他阿拉伯语和多语言模型，其中还包括几个规模是它数倍的模型。下图显示了它在 Alyah 排行榜上与一组代表性领先指令微调模型的相对位置。

Falcon-Emirati-7B 与领先阿拉伯语及多语言模型在 Alyah 上的对比 (https://cdn-uploads.huggingface.co/production/uploads/659bc8a7b0f43ed69f0b2300/UL3Uy6LFKWEj5fALZ0Sg4.png)

Alyah 准确率（%），指令微调模型。Falcon-H1-Arabic 家族模型不参与本次对比，因为 Falcon-Emirati-7B 就构建于其上。

这些结果告诉我们什么

这次对比中有几点格外突出。规模本身并不能换来方言能力。这里一些最大的多语言模型，得分远低于更小但更懂方言的模型——这说明阿联酋方言的掌握必须是有针对性地训练出来的，而不是规模的副产品。表现最好的模型也往往本身就是以阿拉伯语为主或面向阿拉伯语的，这与我们在自己消融实验中看到的一致：通用阿拉伯语与方言的覆盖是必要的起点，但要弥合剩余的差距，仍然需要针对性的、方言专属的工作，尤其是在 Alyah 最难的部分——诗歌、遗产知识，以及“语言与方言“这一类别本身。

这也与 Alyah 基准发布时更广泛的现象相符：即便很强的模型，一旦进入真正方言化、有深厚文化嵌入的内容，也会出现明显的性能下滑。这个差距不会因为模型变大就自动弥合。它需要专为该方言构建的数据与评估。

超越选择题：LLM-as-Judge 评估

选择题准确率只能告诉你模型能否在四个选项中识别出正确答案，却不能告诉你：当有人直接跟它对话时，它是否会真的说出阿联酋阿拉伯语。因此在 Alyah 之外，我们还做了第二项评估：对同样这 1,173 个 Alyah 问题进行开放式生成，由 LLM 评审（Gemini 3.7 Flash）对五个模型评分——Falcon-Emirati-7B、ALLaM-7B-Instruct-preview、gemma-3-27b-it、Jais-2-8B-Chat 和 Fanar-2-27B-Instruct，这些是 Alyah 排行榜上最强的竞争模型。

评审在两个相互独立的维度上对每个答案打分：内容是否正确；以及独立地看，答案是否真的以阿联酋方言而非 MSA 回答。我们同时报告部分得分（评审的分级评定）和更严格的通过/不通过版本，外加每个模型弃答的频率。

LLM 评审下的开放式阿联酋问题正确性 (https://cdn-uploads.huggingface.co/production/uploads/659bc8a7b0f43ed69f0b2300/uc4Lj0T23SxjZVaV1w5bU.png)

在 1,173 个 Alyah 问题上的 LLM 评审正确性，开放式生成，由 Gemini 3.7 担任评审。

LLM 评审下的方言忠实度 (https://cdn-uploads.huggingface.co/production/uploads/659bc8a7b0f43ed69f0b2300/Q1ArWubn7hwUco5ldt7Xo.png)

同一批问题上的 LLM 评审方言忠实度：答案是否真的回到了阿联酋语，还是模型默认退回 MSA？

Falcon-Emirati-7B 在正确性上领先，但真正的差距出现在第二张图上。在方言忠实度方面，Falcon-Emirati-7B 得分为 0.52（部分得分），而 ALLaM 为 0.05，gemma-3-27b-it 为 0.03，Jais-2-8B-Chat 为 0.02，Fanar-2-27B-Instruct 则基本为 0.00。这不是小幅优势，在低端接近两个数量级。在实践中，这意味着其他模型常常知道正确答案，却默认用现代标准阿拉伯语说出来，即便对方是直接用阿联酋语提问的。Falcon-Emirati-7B 是这五个模型中唯一能可靠地以提问所用方言作答的。

Fanar-2-27B-Instruct 还有第二个值得注意的地方：它的弃答率远高于任何其他模型，有 26.2% 的情况拒绝回答，而对比中其他所有模型的弃答率都低于 5%。结合它五者中最低的正确性得分 0.27（部分得分），这表明该模型既不太愿意、也不太能处理阿联酋特有的内容，而不只是“用错了语域“那么简单。

各分类的方言忠实度 (https://cdn-uploads.huggingface.co/production/uploads/659bc8a7b0f43ed69f0b2300/sklbQUT3s8CXmcse-BPln.png)

按 Alyah 分类的方言忠实度，部分得分。Falcon-Emirati-7B 是唯一稳定切换到阿联酋语的模型；其他模型几乎在每一个类别里都停留在 MSA。

把方言忠实度按类别拆开看，这个模式更加清晰。它在 Alyah 的每一个类别里都成立，从日常问候到诗歌都有体现——这说明这并非针对少数题型学会的狭隘技巧，而是模型在阿联酋语是预期语域时，其默认语域发生了普遍性的转变。竞争模型相对表现较好的一个地方是“问候与日常表达“，而这恰恰是阿联酋语与 MSA 重叠最多的一个类别，所以通用阿拉伯语模型最容易在这里“意外地“显得正确。

逐分类的两两对比

作为审视同一问题的第三个视角，我们进行了逐题的两两对比评审：对每一个 Alyah 问题，评审（Gemini 3.7 Flash）会看到 Falcon-Emirati-7B 的答案和一个竞争模型的答案并排展示，且不知道哪个是哪个，然后被要求选出更好的那个。下面的雷达图展示了在三个竞争模型（Jais-2-8B-Chat、ALLaM-7B-Instruct-preview 和 Fanar-2-27B-Instruct）上按类别对比得到的胜率。

pairwise_combined (https://cdn-uploads.huggingface.co/production/uploads/659bc8a7b0f43ed69f0b2300/ruWwB7xCdfiETIgD4wmyy.png)

按类别的两两对比胜率，Falcon-Emirati-7B 对比 Jais-2-8B-Chat、ALLaM-7B-Instruct-preview 和 Fanar-2-27B-Instruct，由 Gemini 3.7 进行逐题评审。

Falcon-Emirati-7B 在多数类别上都胜过全部三个竞争对手，而且在最依赖方言与文化流畅度的类别里优势悬殊。对阵 Jais-2-8B-Chat，差距最大的是“诗歌与创意表达“（0.69 对 0.31）和“语言与方言“（0.62 对 0.38）。对阵 ALLaM-7B-Instruct-preview，同样是这两类的差距最大：“诗歌与创意表达”（0.66 对 0.34）和“语言与方言“（0.58 对 0.42）。对阵 Fanar-2-27B-Instruct，差距是三组对阵中最大的，Falcon-Emirati-7B 赢下了每一个类别，其中最高的是“诗歌与创意表达“（0.88 对 0.12）和“宗教与社交敏感性“（0.80 对 0.2