RightNow-Arabic-0.5B-Turbo：一款通过词汇注入和边缘优先部署的开源亚10亿参数阿拉伯语语言模型

# RightNow-Arabic-0.5B-Turbo：通过词汇注入和边缘优先部署实现的开源亚十亿参数阿拉伯语语言模型  
来源：https://arxiv.org/html/2605.28827  
Jaber Jaber RightNow AI jaber@rightnowai\.co & Osama Jaber RightNow AI osama@rightnowai\.co  

###### 摘要  

开源的阿拉伯语大语言模型分为两类：一类是亚十亿参数的多语言模型，它们将阿拉伯语视为次要语言（如 Qwen2\.5\-0\.5B、Falcon\-H1\-0\.5B）；另一类是 7B–70B 的阿拉伯语专用模型，需要服务器才能运行（如 Jais、AceGPT、ALLaM、SILMA）。目前唯一发表的亚 2B 阿拉伯语专用模型尝试是 Kuwain\-1\.5B，但并未公开权重。我们提出 **RightNow\-Arabic\-0\.5B\-Turbo**，这是一个基于 Qwen2\.5\-0\.5B 构建的 518M 参数阿拉伯语专用解码器 LLM。该流程通过均值子词初始化添加了 27,032 个阿拉伯语词元，在 8×H100 GPU 上使用 FSDP、FlashAttention varlen 打包和 Liger 融合内核，对 5.04 亿个阿拉伯语词元进行继续预训练，然后在 129,116 个阿拉伯语指令对上进行监督微调（使用仅响应的损失掩码），在 6,750 个阿拉伯语偏好对上进行直接偏好优化，并通过权重汤合并三个检查点。在三个 lm-evaluation-harness 阿拉伯语基准测试（COPA-ar、Arabic HellaSwag、ArabicMMLU）上，合并后的模型平均准确率达到 35.9%，超越了所有同级别开源模型，在 COPA-ar 上以三分之一的参数量与 Falcon-H1-1.5B 持平（58.4%），并以 1/18 的参数量恢复了 SILMA-9B 平均性能的 67%。边缘构建版本量化至 398 MB（q4_k_m），通过 llama.cpp 在单块 H100 上以 batch size 1 实现了 635 tokens/s 的吞吐量。所有代码（25 个脚本共 5,555 行）、权重（bf16、int8 和四种 GGUF 量化版本）以及基准测试脚本均已开源，地址为：https://huggingface.co/RightNowAI/RightNow-Arabic-0.5B-Turbo。

![[Uncaptioned image]](https://arxiv.org/html/2605.28827v1/rightnow_logo.png)

## 1 引言  

阿拉伯语有超过 4 亿使用者，是 25 个国家的官方语言，然而开源阿拉伯语语言模型的权重与英语模型相比仍有很大差距。最强大的开源阿拉伯语模型——Jais（Sengupta 等，2023 (https://arxiv.org/html/2605.28827#bib.bib16)）、AceGPT（Huang 等，2023 (https://arxiv.org/html/2605.28827#bib.bib7)）、ALLaM（Bari 等，2024 (https://arxiv.org/html/2605.28827#bib.bib1)）和 SILMA——参数规模都在 7B–70B 之间。它们取得了很高的基准分数，但需要 16–140 GB 内存，不适合手机、笔记本电脑 CPU 和嵌入式设备。在另一端，能够在普通硬件上运行的亚十亿参数开源模型，如 Qwen2\.5\-0\.5B\-Instruct（Qwen Team 等，2024 (https://arxiv.org/html/2605.28827#bib.bib14)）、Falcon\-H1\-0\.5B，将阿拉伯语视为上百种语言之一，并没有分配阿拉伯语专用的词汇或训练数据。

唯一一个试图填补这一空白的公开发表工作是 Kuwain\-1\.5B（Hennara 等，2025 (https://arxiv.org/html/2605.28827#bib.bib4)），它提出在 TinyLlama（Zhang 等，2024 (https://arxiv.org/html/2605.28827#bib.bib18)）上进行“语言注入”，并报告称阿拉伯语平均性能相比基线提升 8%。Misraj\.ai（沙特阿拉伯胡拜尔）发布了论文，但未公开权重。这使得在边缘设备上部署实用的阿拉伯语模型毫无选择：HuggingFace 上可下载的最小阿拉伯语专用解码器 LLM 不存在。

我们提出 **RightNow\-Arabic\-0\.5B\-Turbo**，一个 518M 参数的阿拉伯语专用解码器 LLM。该模型通过向 Qwen2\.5\-0\.5B（Qwen Team 等，2024 (https://arxiv.org/html/2605.28827#bib.bib14)）注入 27,032 个新阿拉伯语词元、在 5.04 亿阿拉伯语词元上继续预训练、对 129,116 个指令对进行仅响应损失掩码的监督微调、应用直接偏好优化（Rafailov 等，2023 (https://arxiv.org/html/2605.28827#bib.bib15)），以及通过权重平均（Wortsman 等，2022 (https://arxiv.org/html/2605.28827#bib.bib17)）合并三个检查点构建而成。结果是迄今为止发布的最小开源阿拉伯语专用解码器 LLM。在 COPA\-ar 上，它以三分之一的参数量与 Falcon\-H1\-1\.5B 持平；量化到 4 位后仅占 398 MB，通过 llama\.cpp 在单块 H100 上以 batch size 1 达到了 635 tokens/s。

#### 关键洞察。

亚十亿参数的阿拉伯语模型并不需要新的训练技术——我们流程中的每个组件都来自已有工作。它们需要的是精心的协调：能够真正降低阿拉伯语词元繁殖率的词汇扩展、避免多 rank HuggingFace Hub 阻塞的数据加载器、掩码提示词元以使损失信号集中在助手回复上的 SFT，以及能够生成足够小到目标设备可用的导出路径。每一个失误都会消耗一个已经接近规模上限的模型的准确率预算。

#### 贡献。

1. 提交时 HuggingFace 上最小的开源阿拉伯语专用解码器 LLM，518M 参数，磁盘占用 398 MB（q4\_k\_m）。
2. 可复现的词汇注入流程，通过均值子词初始化将 27,032 个阿拉伯语词元注入 Qwen2\.5\-0\.5B，并将阿拉伯语分词器词元繁殖率从 2.18 降至 1.80 tokens/词（降低 17.3%）。
3. 在三个阿拉伯语 lm\-evaluation\-harness 任务上与 6 个竞争模型进行的直接头对头基准测试（相同方法），展示了 0.5B 模型在哪些方面优于、在哪些方面劣于比它大 3–18 倍的模型。
4. 在 7 种变体（DPO/SFT/预训练检查点之间的 SLERP 和 LERP）上进行权重汤合并消融实验，选择了一个相比单独 DPO 终点平均准确率提升 0.44 个绝对百分点的配置。
5. llama\.cpp GGUF 转换产生 4 种量化等级（f16, q8\_0, q5\_k\_m, q4\_k\_m），在 H100 上以 bs=1 测得吞吐量为 582–646 tokens/s。
6. 完全开源：25 个脚本共 5,555 行 Python 代码、13 个运行时模块、所有训练配置、所有基准测试脚本、所有中间检查点和最终权重。

## 2 相关工作  

#### 阿拉伯语专用 LLM。

来自 Inception/MBZUAI 的 Jais（Sengupta 等，2023 (https://arxiv.org/html/2605.28827#bib.bib16)）设立了最初的标准，采用 GPT\-3 风格的 13B/30B 解码器，在阿拉伯语、英语和代码的混合数据上预训练。来自 FreedomIntelligence 的 AceGPT（Huang 等，2023 (https://arxiv.org/html/2605.28827#bib.bib7)）通过 RLAIF 实现文化对齐，并发布了 7B/13B 对话变体。来自 SDAIA（沙特阿拉伯）的 ALLaM（Bari 等，2024 (https://arxiv.org/html/2605.28827#bib.bib1)）通过词汇扩展和阿拉伯语\-英语混合预训练扩展到了 7B/13B/34B/70B。SILMA 是 SILMA AI 发布的一个 9B 阿拉伯语专用模型，没有附带论文。这四个模型都在 7B+ 参数范围，面向服务器部署。

#### 亚 2B 阿拉伯语模型。

与我们最接近的先前工作是 Kuwain\-1\.5B（Hennara 等，2025 (https://arxiv.org/html/2605.28827#bib.bib4)），由 Misraj\.ai 于 2025 年 4 月发布。Kuwain 将阿拉伯语词汇注入 TinyLlama\-1\.1B（Zhang 等，2024 (https://arxiv.org/html/2605.28827#bib.bib18)），并报告称阿拉伯语基准测试平均性能相比基线提升 8%。Mutarjim（Misraj\.ai，2025 (https://arxiv.org/html/2605.28827#bib.bib10)）在 Kuwain 基础上用于阿拉伯语\-英语翻译。关键的是，截至本次提交，Kuwain 和 Mutarjim 的权重都未在 HuggingFace 上发布，因此无法直接比较或部署。RightNow\-Arabic\-0\.5B\-Turbo 严格更小（518M vs 1.5B），并且完全开源。

#### 用于语言适应的词汇扩展。

用新词汇扩展预训练分词器是一种标准的适应技术。ALLaM（Bari 等，2024 (https://arxiv.org/html/2605.28827#bib.bib1)）认为，词汇扩展搭配英语锚定可以防止灾难性遗忘。我们使用的具体初始化方案——对新词元的子词分解取旧嵌入的平均值——由 WECHSEL（Minixhofer 等，2022 (https://arxiv.org/html/2605.28827#bib.bib11)）形式化，随后被 Kuwain 和 ALLaM 采用。

#### 小模型训练栈。

在 8×H100 SXM5 上训练需要特定的基础设施。FlashAttention（Dao 等，2022 (https://arxiv.org/html/2605.28827#bib.bib2)）及其 varlen 变体消除了密集注意力的内存和内核启动开销。PyTorch FSDP（Zhao 等，2023 (https://arxiv.org/html/2605.28827#bib.bib19)）分片优化器和梯度状态；我们使用 `_HYBRID_SHARD_ZERO2` 策略。Liger Kernel（Hsu 等，2024 (https://arxiv.org/html/2605.28827#bib.bib6)）将 RMSNorm、RoPE、SwiGLU 和融合线性交叉熵替换为 Triton 实现，节省内存和时间。我们的词汇扩展将输出投影增加到 178,697 行，这使得融合线性交叉熵至关重要：在 batch 16×4096×178697 下，物化的 float32 logits 将需要 44 GiB。

#### 后训练。

直接偏好优化（Rafailov 等，2023 (https://arxiv.org/html/2605.28827#bib.bib15)）将 RLHF 重新表述为偏好对上的分类损失，消除了奖励模型。模型汤（Wortsman 等，2022 (https://arxiv.org/html/2605.28827#bib.bib17)）对多个微调检查点的权重取平均，已被证明能改善域外泛化能力。我们的流程同时应用了这两者：在 6,750 个阿拉伯语偏好对（来自 argilla\-dpo\-mix\-7k\-arabic）上进行 DPO，以及在线性权重汤中对 DPO、SFT 和预训练检查点进行合并。

#### 数据。

预训练使用阿拉伯语维基百科（与新分词器合并后共 5.04 亿个词元），来源为 wikimedia/wikipedia 语料库。我们原本计划混合 FineWeb\-2\-ar（Penedo 等，2024 (https://arxiv.org/html/2605.28827#bib.bib13)），但在多 rank 流式传输时遇到了 HuggingFace Hub 持续 504 超时；我们通过将语料库预分词化为平面的 int32 memmap 并按 rank 采样窗口来解决这一问题。指令调优使用五个阿拉伯语指令数据集的合并；偏好调优使用 argilla 阿拉伯语 DPO 混合数据集。所有数据均公开可用。评估使用 lm\-evaluation\-harness（Gao 等，2021 (https://arxiv.org/html/2605.28827#bib.bib3)）中的三个任务：COPA\-ar、Arabic MT HellaSwag 和 Arabic Leaderboard ArabicMMLU（Koto 等，2024 (https://arxiv.org/html/2605.28827#bib.bib8)）。表 1 (https://arxiv.org/html/2605.28827#S2.T1) 总结了开源阿拉伯语 LLM 的格局，并展示了我们模型的位置。

表 1：开源阿拉伯语 LLM 格局。我们的模型是唯一一个权重公开可用的亚十亿参数阿拉伯语专用解码器。

## 3 方法  

图 1 (https://arxiv.org/html/2605.28827#S3.F1) 展示了完整流程。模型从 Qwen2\.5\-0\.5B（基础版，非 Instruct）开始，增加 27,032 个新阿拉伯语词元，经过 5.04 亿个预训练词元、129,116 个 SFT 样本和 6,750 个 DPO 对，最终形成一个合并的检查点，导出为 bf16、int8 和四种 GGUF 量化版本。

Qwen2\.5\-0\.5B base (494M, 151,665 vocab) → 分词器手术 (添加 27,032 个阿拉伯语词元，均值子词初始化) → 178,697 vocab → 继续预训练 (504M arwiki token, 2500 步, 8×H100 FSDP + FA-varlen + Liger) → 监督微调 (129,116 指令, 5 轮, 仅响应损失掩码) → 直接偏好优化 (6,750 阿拉伯语偏好对, 2 轮, 单 GPU) → 权重汤 (线性合并: DPO 0.5, SFT 0.25, pretrain 0.25) → 导出 (bf16 1.04 GB, int8 664 MB, GGUF {f16, q8_0, q5_k_m, q4_k_m})

图 1：训练和部署流程。每个阶段产生一个检查点供下一阶段使用；汤合并阶段也直接使用预训练和 SFT 检查点。

### 3.1 分词器手术  

Qwen2\.5\-0\.5B 原始的字节级 BPE 分词器有 151,665 个词元，在 held-out 样本上对阿拉伯文文本的编码率为 2.18 tokens/词，大约是英文编码率的 1.4 倍。为了降低这一比率，我们在一个 12.54 GB 的阿拉伯语语料库上训练了一个 SentencePiece unigram 模型（Kudo and Richardson, 2018 (https://arxiv.org/html/2605.28827#bib.bib9)），词元数设为 32,000。该语料库由 2150 万行阿拉伯语维基百科（来自 wikimedia/wikipedia 20231101\.ar）和 5.4 GB 过滤后的阿拉伯语网络文本组成。在训练前，我们应用了标准的阿拉伯语文本归一化：NFKC、alif 变体归一化（hamza-above、hamza-below、madda → 裸 alif）、tatweel 去除以及 ya 变体归一化。

得到的 SentencePiece 模型通过一个去重步骤合并到 Qwen 分词器中：任何其表面字符串已经能一对一映射到单个现有 Qwen 词元的 SentencePiece 片段都会被丢弃，最终留下 27,032 个全新阿拉伯语词元。然后我们调用 `model.resize_token_embeddings(178697)`，并按照算法 1 (https://arxiv.org/html/2605.28827#alg1) 初始化 27,032 个新嵌入行。

算法 1 均值子词嵌入初始化  
输入：旧分词器 T_old，新词元字符串集合 N，嵌入矩阵 E ∈ R^{V_new × d}，原始词表大小 V_old  
1: E_old ← E[:V_old].clone()  // 冻结原始行  
2: for 所有新词元 id n 及其表面字符串 s in N do  
3:   I ← T_old.encode(s, add_special_tokens=False)  
4:   if |I| = 0 then  
5:     I ← [T_old.unk_id]  
6:   end if  
7:   E[n] ← (1/|I|) * Σ_{i in I} E_old[i]  
8: end for  
9: if lm_head.weight.data_ptr == embed.weight.data_ptr then  
10:   // 共享嵌入：lm_head 行自动更新  
11: else  
12:   E_lm_head[V_old:V_new] ← E[V_old:V_new]  
13: end if  

合并后，我们验证 `model.lm_head.weight.data_ptr()` 仍然等于 `model.get_input_embeddings().weight.data_ptr()`；Qwen2\.5\-0\.5B 是共享嵌入的，因此输入嵌入和输出投影同时获得均值初始化的行。在一个 1000 词的阿拉伯语样本上，词元繁殖率从 2.08 降至 1.77 tokens/词（降低 14.7%）。在一个用于最终测量的更大 held-out 样本（368 词）上，繁殖率从 2.18 降至 1.80（降低 17.3%）。

### 3.2 继续预训练  

合并后的模型在预分词化的平面 int32 memmap 上训练了 2,500 个优化器步，该 memmap 包含用新分词器编码的 504,318,692 个阿拉伯语维基百科词元。我们使用每 GPU 微批次 16 个序列，每个序列 4096 个词元，梯度累积步数为 8，因此有效批次为 16×4096×8×8 = 4.19M 词元/步，总训练词元数为 105 亿。FSDP（Zhao 等，2023 (https://arxiv.org/html/2605.28827#bib.bib19)）包装每个 Qwen2DecoderLayer，使用 `ShardingStrategy._HYBRID_SHARD_ZERO2` 和 bf16 混合精度；FlashAttention varlen（Dao 等，2022 (https://arxiv.org/html/2605.28827#bib.bib2)）直接从 memmap 迭代器获取打包的 cu_seqlens，因此文档边界被尊重而无需填充；Liger 融合内核（Hsu 等，2024 (https://arxiv.org/html/2605.28827#bib.bib6)）涵盖了 RMSNorm、RoPE、SwiGLU 和融合线性交叉熵。

优化器为融合 AdamW，β=(0.9, 0.95)，ε=1e-8，权重衰减 0.1，峰值学习率 2e-4，500 步线性预热，余弦衰减至 2e-5。训练在 8×H100 SXM5 上达到 415,000 tokens/s 的综合吞吐量，峰值每 GPU 内存为 24 GB。

### 3.3 监督微调  

我们将五个阿拉伯语指令数据集合并为一个去重后的集