Domyn-Small：一款欧洲10B参数推理语言模型

# Domyn-Small：一款欧洲10B推理语言模型  
来源：https://arxiv.org/html/2607.20448  
Simone Angarano, Francesco Bertolotti, Federico D’Ambrosio, Michele Resta, Alessandro Rognoni, Nicolò Ruggeri, Dario Salvati, Andrea Valenti, Alberto Veneri, Martin Cimmino  
Domyn 模型团队  
domyn@domyn\.com  

###### 摘要  

我们推出 Domyn\-Small¹，这是一款拥有100亿参数、采用MIT许可证开源权重¹的推理语言模型。Domyn\-Small 经历了初始的预训练阶段（基于9万亿多语言token），随后是面向推理、指令遵循和上下文扩展的后训练流程。在后训练中，我们执行了持续预训练（CPT）阶段，将原生上下文窗口翻倍至32K token；接着进行了以数学为核心的退火训练监督微调（SFT）。最后，强化学习阶段包括结合可验证奖励的GRPO、DPO，以及一个覆盖五个任务领域（数学、代码、多项选择问答、指令遵循和工具调用）的多环境GRPO阶段。通过YaRN，32K token的原生上下文可在推理时扩展至128K，而聊天模板的切换功能则实现了双模式推理。在与7–10B参数级别的同类模型（Qwen3.5\-9B, OLMo\-3\-7B\-Think, Nemotron\-Nano\-8B, Ministral\-3\-8B）对比中，Domyn\-Small 实现了强大的准确率-效率平衡：在核心推理基准测试上，其生成的token数量约为Qwen3.5\-9B的三分之一，约为OLMo\-3\-7B\-Think的35%，同时提供了强大的指令遵循能力（IFEval 79.9）和有竞争力的科学推理能力（GPQA\-Diamond 50.0）。我们开源了模型权重和后训练策略，并同步发布了Domyn Swarm（Apache 2.0许可），这是一个在此项目期间开发并在整个工作中使用的、用于在HPC集群上进行可扩展LLM推理的开源框架。  

## 1 引言  

金融服务业、国防、先进制造业和公共部门的受监管企业面临一个反复出现的约束：它们需要能够在欧盟监管框架（包括欧盟AI法案 (European Parliament and Council of the European Union, 2024)）、行业数据驻留规则以及日益青睐可审计来源技术的采购要求下进行部署和治理的强大语言模型。然而，这些部署受到严格的限制。推理必须在企业控制的基础设施上运行，服务成本必须与高容量的代理工作负载相匹配，并且模型必须足够紧凑，以便在适度的GPU分配上提供服务。7–10 B参数级别正好解决了这一需求：它足够大，可以支持多步推理、多语言交互和工具使用；也足够小，可以在单块GPU上以经济的成本提供服务。  

Domyn\-Small模型。为了弥补这一空白，我们推出了Domyn\-Small，一款拥有100亿参数、采用MIT许可证的开源权重推理语言模型。我们没有进行昂贵的预训练，而是选择扩展Italia 10B。Italia 10B是一个从零开始训练的基础模型，于2024年在约9万亿token上训练而成，涵盖50多种语言。与DeepSeek\-R1 (Guo et al., 2025) 以及随后涌现的、以推理为中心的开源方案不同，Italia 10B被训练为一个非推理模型。为了提高推理能力，我们基于现代、最先进的上下文扩展和后训练实践，通过一个五阶段适配流程扩展了Italia 10B坚实的基础。我们的适配流程在与CINECA合作、运行于CINECA Leonardo超级计算机上的整个流程中执行，包括：  

- • **持续预训练 (CPT)** 阶段，将原生上下文窗口从16,384 token翻倍至32,768 token.  
- • **监督微调 (SFT)**，基于一个123亿token的指令混合数据集，包括在强化学习之前进行的一次简短的数学退火训练。  
- • **强化学习 (RL) 多阶段**，我们旨在构建通用能力：  
  *i)* 基于可验证数学奖励的群相对策略优化 (GRPO)；  
  *ii)* 基于delta学习假设 (Delta Learning Hypothesis) 的直接偏好优化 (DPO)；  
  *iii)* 最终的多环境GRPO阶段，涵盖五个任务领域：数学、代码、多项选择问答、指令遵循和工具调用。  

在推理时，32,768 token的原生上下文通过YaRN可扩展至131,072 token，即原生上下文的四倍，并且聊天模板切换功能暴露了双模式推理能力。  

**结果**。在第5节中，我们与四款同类模型进行了比较：来自7–10 B参数级别的Qwen3.5\-9B (Qwen Team, 2026)、OLMo\-3\-7B\-Think (Olmo et al., 2026)、Llama\-3.1\-Nemotron\-Nano\-8B\-v1 (Bercovich et al., 2025)，以及作为效率参考点的Ministral\-3\-8B\-Reasoning\-2512 (Mistral AI, 2025)。Domyn\-Small 在7–10 B参数级别中实现了最佳的准确率-效率平衡，在推理基准测试上生成的token数量约为Qwen3.5\-9B的三分之一。在准确性方面，Domyn\-Small 在指令遵循和GPQA\-Diamond上领先Nemotron\-Nano和Ministral\-3\-8B\-Reasoning\-2512；在AIME 2025上与Ministral\-3\-8B\-Reasoning\-2512大致持平；在硬数学推理上明显落后于Qwen3.5\-9B和OLMo\-3\-7B\-Think。这种推理差距既反映了检查点时RL阶段的收敛状态，也反映了2024年版基础模型的局限性，该模型早于支撑当前最强竞争者的、以推理优化为核心的预训练实践浪潮。  

**贡献**。我们做出以下贡献：  

- • **模型权重**。Domyn\-Small 在Hugging Face上以MIT许可证发布，提供bf16参考权重和一个与更广泛的Domyn模型系列兼容的分词器。  
- • **开放的端到端后训练流程**。本着开放科学共享的精神，我们以策略级别的保真度记录了从Italia 10B基础模型到多环境GRPO的完整适配流程（CPT数据和RoPE基数轨迹、SFT混合组成、GRPO奖励设计和提示集、DPO数据集以及多环境GRPO超参数和环境配置）。  
- • **Token效率Pareto特征**。我们在三个核心推理基准测试上，对Domyn\-Small与四款同类模型进行了系统的准确率/每问题平均token数比较，确立了Domyn\-Small在部署边界上的位置，并阐述了其相比更大和更小同类模型的效率优势。  
- • **Domyn Swarm**。Domyn Swarm是一个Apache 2.0框架，用于在HPC集群上进行可扩展的LLM即服务推理。它在此项目期间开发并开源，以支持合成数据生成和在Leonardo上针对教师模型的大规模评估。  

总之，我们发布了Domyn\-Small及其完整策略，旨在成为在有效模型使用和高效部署需求交汇点上工作的用户和受监管行业的关键推动力。  

## 2 模型架构  

Domyn\-Small 是一个稠密、仅解码器的因果Transformer模型，约有100亿参数，遵循成熟的开放解码器实践。该模型有40层，隐藏层大小为4,096，并使用分组查询注意力机制，包含48个查询头和8个键值头，通道宽度为128，以限制32,768 token原生上下文下的KV缓存带宽。位置信息通过应用于每个头一半特征维度的旋转位置嵌入进行编码，在第二阶段的持续预训练时，RoPE基数设置为500,000；在推理时，通过免训练的YaRN缩放，上下文窗口扩展至131,072 token，即原始长度的4倍。MLP子层使用平方ReLU激活函数，中间维度扩展4倍至16,384，无门控机制。子层采用预归一化的LayerNorm；遵循近期开放模型的常见做法，所有线性层和注意力投影层禁用偏置，输入和输出嵌入不共享权重，整个训练过程中dropout设置为零，所有权重以bfloat16格式存储和训练。完整的超参数规格见表1。  

**表1：Domyn\-Small 架构规格**  

**分词器**。Domyn\-Small 继承了Italia 10B的、使用SentencePiece训练的字节对编码分词器，拥有256,000个token的词汇表，该词汇表与Italia 10B的同时代产品Colosseum 355B基础模型共享，以保证模型系列的表征一致性。该分词器覆盖50多种语言，特别侧重于欧洲语言；遵循PaLM的做法，数字被分割成单个数字token。  

## 3 预训练  

Domyn\-Small 的预训练分两个阶段进行。该模型源自Italia 10B，这是一个在2024年底从零开始训练、基于约9万亿token的100亿参数基础模型。Italia 10B的16,384 token原生上下文对于长篇检索增强工作负载来说太短，其通用领域预训练数据组合也缺乏本次发布所针对的推理工作负载所需的技术性、长篇内容的集中度。因此，我们插入了一个专门的第二阶段长篇预训练阶段，我们称之为持续预训练。在CPT阶段，模型接触了5030亿个额外的更高质量、更具技术性的token，并且原生上下文窗口被扩展到32,768 token。  

### 3.1 基础预训练  

Italia 10B 共享第2节中描述的架构；唯一的架构差异是，在基础训练中RoPE基数保持在10,000，仅在CPT边界处提升至500,000。  

**数据组成**。预训练语料库由来自网络爬取、新闻、科学论文、书籍、百科资源、源代码以及特意上采样的、侧重于欧洲语言的多语言长尾数据的精选文档组成。高层次token混合比例约为：60%英语自然语言、15%涵盖50多种语言（侧重于德语、法语、意大利语、西班牙语、葡萄牙语、俄语、罗马尼亚语、波兰语等欧洲语言）的多语言自然语言、5%数学内容、20%覆盖40多种编程语言的源代码。  

**数据处理流程**。应用的数据处理流程由四个阶段组成。文档级近似去重使用基于MinHash的近似匹配来减少记忆化和增加多样性。语言模型质量过滤遵循CCNet方法论，保留在小型参考语言模型下的困惑度落在校准区间内的文档。扩展自Gopher和C4策略的启发式过滤器，去除了劣质文档。最后一遍流程强制实施了个人身份信息去除、针对动态黑名单的版权过滤，以及遵守欧盟数字单一市场指令第4条第3款所要求的robots.txt和机器可读的选择退出信号。  

**计算和训练计划**。基础训练在两个集群上分两个阶段执行，使用NeMo/Megatron-LM框架，结合张量和上下文并行，以及分布式Adam优化器；两个阶段均采用bf16混合精度。第一阶段在NVIDIA DGX Cloud上处理了大约6万亿token，序列长度为4,096，在共享基础设施和数据流程上，Italia 10B与Domyn更大的Colosseum 355B基础模型一同开发。第二阶段在CINECA Leonardo超级计算机上使用512个NVIDIA A100-SXM-64 GB GPU处理了剩余的大约3万亿token；此阶段实施了渐进式序列长度课程，从4,096扩展到16,384 token。在持续的单GPU吞吐量（与后续的持续预训练阶段相当，且因序列长度较短而略高）下，Leonardo上的基础训练部分消耗了约417,000 GPU小时，模型FLOPs利用率约为38%。  

### 3.2 持续预训练：第二阶段长篇预训练  

我们将此阶段定义为第二次预训练过程，而非纯粹的上下文扩展，基于两点理由。首先，其5030亿token的预算比典型的上下文扩展预算高出一个数量级，更适合被解读为一次有意的预训练延续。其次，数据分布相对于基础训练进行了实质性重新加权：分配给数学推理和源代码的token比例显著增加，并且设置了更严格的质量门槛。