SEA-LION-v4.8: 技术报告
摘要
NVIDIA 发布了 SEA-LION-v4.8，这是一系列基于 Nemotron 3 的多语言AI模型，专门针对东南亚语言进行优化，在指令遵循和推理等任务上取得了显著的性能改进。
arXiv:2609.18310v1 公告类型：新
摘要：我们介绍 Nemotron-SEA-LION-v4.8，这是一个基于 NVIDIA Nemotron 3 构建的东南亚语言一体化网络（SEA-LION）家族。该家族包括 30B-A3B 和 120B-A12B 模型，既有持续预训练的基础检查点，也有后训练变体。我们使用东南亚语、推理、代码和多语言并行数据集对模型进行适配，随后通过监督微调和在线策略蒸馏进行后训练。在 SEA-HELM 上，30B-A3B 模型的总体 SEA 分数从 46.06 提升到 51.57，而 120B-A12B 模型从 49.30 提升到 63.44。在七种东南亚语言的指令遵循、自然语言推理和自然语言理解方面观察到最强提升。
查看缓存全文
缓存时间: 2026/09/17 09:15
# SEA-LION-v4.8：技术报告
来源：https://arxiv.org/html/2609.18310
###### 摘要
我们推出了Nemotron-SEA-LION-v4.8，这是一族基于NVIDIA Nemotron 3构建的东南亚语言一体化网络（SEA-LION）模型。该系列包括30B-A3B和120B-A12B两个规模的模型，涵盖持续预训练的基础检查点以及经过后训练的变体。我们使用涵盖东南亚语、推理、代码和多语言平行数据集对模型进行适配，随后通过监督微调和在线同策略蒸馏进行后训练。在SEA-HELM基准测试中，30B-A3B模型将整体SEA分数从46.06提升至51.57，而120B-A12B模型从49.30提升至63.44。在七种东南亚语言的指令遵循、自然语言推理和自然语言理解任务中，我们观察到最显著的提升。
###### 目录
1. [1 引言](https://arxiv.org/html/2609.18310#S1)
2. [2 模型架构](https://arxiv.org/html/2609.18310#S2)
1. [2.1 模型变体](https://arxiv.org/html/2609.18310#S2.SS1)
3. [3 持续预训练](https://arxiv.org/html/2609.18310#S3)
1. [3.1 预训练数据](https://arxiv.org/html/2609.18310#S3.SS1)
2. [3.2 分词器](https://arxiv.org/html/2609.18310#S3.SS2)
3. [3.3 训练方案](https://arxiv.org/html/2609.18310#S3.SS3)
4. [3.4 持续预训练的局限性](https://arxiv.org/html/2609.18310#S3.SS4)
4. [4 后训练](https://arxiv.org/html/2609.18310#S4)
1. [4.1 后训练数据](https://arxiv.org/html/2609.18310#S4.SS1)
2. [4.2 训练方案](https://arxiv.org/html/2609.18310#S4.SS2)
5. [5 评估：SEA-HELM](https://arxiv.org/html/2609.18310#S5)
1. [5.1 语言覆盖范围](https://arxiv.org/html/2609.18310#S5.SS1)
2. [5.2 其他评估维度](https://arxiv.org/html/2609.18310#S5.SS2)
3. [5.3 评估方法论](https://arxiv.org/html/2609.18310#S5.SS3)
6. [6 主要结果](https://arxiv.org/html/2609.18310#S6)
1. [6.1 语言性能](https://arxiv.org/html/2609.18310#S6.SS1)
2. [6.2 任务性能](https://arxiv.org/html/2609.18310#S6.SS2)
7. [7 结论](https://arxiv.org/html/2609.18310#S7)
8. [参考文献](https://arxiv.org/html/2609.18310#bib)
## 1 引言
大型语言模型（LLMs）在推理、指令遵循、编程、长上下文理解和代理能力方面取得了快速进展。近期开源的模型系列也日益多语言化，使更广泛的用户无需完全依赖专有系统即可使用强大的语言模型。然而，多语言覆盖仍然极不均衡。在大规模训练语料库中代表性显著不足的语言往往在语言、文化和领域特定支持方面较弱，而在以英语为中心的基准测试中观察到的改进，未必能统一地转移到这些语言上。
这一挑战对于东南亚——世界上语言和文化最多元化的地区之一——尤为重要。该地区跨越多个语系和书写系统，在数字资源的可用性和质量上存在巨大差异。因此，即使是强大的多语言基础模型，在不同东南亚语言上的性能也可能表现出巨大差异。因此，提升区域能力不仅需要扩大模型规模：还需要在语言覆盖、训练数据和训练方法论上做出审慎的选择。
在本报告中，我们推出了Nemotron-SEA-LION-v4.8，这是一代基于NVIDIA Nemotron 3系列构建的新型SEA-LION模型。SEA-LION-v4.8包含两种规模的模型：一个拥有30B参数和3B活跃参数的模型，以及一个拥有120B参数和12B活跃参数的模型。对于每种规模，我们都发布了持续预训练的基础模型和相应的后训练模型，共四个发布检查点：Nemotron-SEA-LION-v4.8-30B-A3B-Base、Nemotron-SEA-LION-v4.8-30B-A3B、Nemotron-SEA-LION-v4.8-120B-A12B-Base和Nemotron-SEA-LION-v4.8-120B-A12B。
在持续预训练阶段，我们使用150B高质量token（涵盖问答、推理、代码和多语言翻译数据，并特别强调英语和东南亚语言）来适配相应的Nemotron 3基础模型。30B模型使用Megatron Bridge (https://github.com/NVIDIA-NeMo/Megatron-Bridge) 训练，而120B模型使用NVIDIA NeMo AutoModel (https://github.com/NVIDIA-NeMo/Automodel) 训练。我们保留了两个模型系列的原始Nemotron分词器。在这些持续预训练检查点的基础上，我们进一步使用统一训练流水线进行大规模后训练，该流水线包括结合SFT的在线同策略蒸馏（OPD）。我们的后训练系统并非完全依赖静态的离线指令数据集，而是允许模型在异构任务环境中持续生成交互，并从对其自身当前行为的监督中学习。这种框架使模型能够将传统的监督数据与在线生成的轨迹相结合，同时让一个持续演进的模型暴露于大量并发的交互环境中。
为了证明SEA-LION-v4.8的稳健性，我们在更新了数据集和评估方法的SEA-HELM上对SEA-LION-v4.8进行了评估。实验结果表明，如图1 (https://arxiv.org/html/2609.18310#S1.F1) 所示，SEA-LION-v4.8在东南亚语言上相较于相应的Nemotron 3基础模型取得了显著改进，同时保持了强大的通用能力。特别是，Nemotron-SEA-LION-v4.8-120B-A12B (图1(b) (https://arxiv.org/html/2609.18310#S1.F1.sf2)) 将整体SEA-HELM分数从49.30提升至63.44，其中泰米尔语和缅甸语的提升幅度最大。在七种东南亚语言的指令遵循、自然语言推理和自然语言理解任务中，我们观察到最显著的提升。Nemotron-SEA-LION-v4.8-30B-A3B (图1(a) (https://arxiv.org/html/2609.18310#S1.F1.sf1)) 进一步将分数从46.06提升至51.57，表明提出的持续预训练和后训练流水线在更大的模型规模上仍然有效。这些结果表明，有针对性的区域适应可以在无需从头开发全新基础模型的情况下，显著提升东南亚语言能力。
我们的贡献总结如下：
- • 我们推出了Nemotron-SEA-LION-v4.8，这是一个包含四个开源模型的系列，涵盖30B-A3B和120B-A12B规模，包括预训练和指令微调后的检查点。
- • 我们在涵盖东南亚和英语的150B高质量token上进行了持续预训练，将强大的Nemotron 3基础模型适配于区域语言和文化能力。
- • 我们开发了一个基于在线同策略蒸馏的大规模后训练框架，使一个持续演进的模型能够从异构任务环境中生成的交互中持续学习。
表1：SEA-LION-v4.8模型系列概览。我们在两个计算规模上发布了持续预训练的基础模型和相应的后训练模型。
参考图注(a) Nemotron-SEA-LION-v4.8-30B-A3B与其基础模型 (nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16) 的整体结果对比。
参考图注(b) Nemotron-SEA-LION-v4.8-120B-A12B与其基础模型 (nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-FP8) 的整体结果对比。
图1：Nemotron-SEA-LION-v4.8模型与其各自基础模型的整体结果对比。
## 2 模型架构
SEA-LION-v4.8包含两个互补的开发轨道：一个以东南亚为重点的持续预训练轨道和一个以后训练为重点的轨道。我们并未假设持续预训练和后训练之间的差异仅仅是规模问题，而是将两个轨道分开，以反映将区域能力整合到大型语言模型中的不同策略。具体而言，持续预训练轨道研究在基础模型层面的适配，而后训练轨道则研究强大的现有基础模型通过密集的后训练能在多大程度上被专门化用于东南亚。
### 2.1 模型变体
如表1 (https://arxiv.org/html/2609.18310#S1.T1) 所示，SEA-LION-v4.8包含在两个模型规模上的四个发布检查点：30B参数（3B活跃参数）和120B参数（12B活跃参数）。对于每种规模，我们都发布了持续预训练的基础模型和相应的后训练模型。这种设计允许持续预训练和后训练阶段独立进行，同时也提供了完整的端到端SEA-LION-v4.8模型。
#### Nemotron-SEA-LION-v4.8-30B-A3B-Base (https://huggingface.co/aisingapore/Nemotron-SEA-LION-v4.8-30B-A3B-Base)
我们较小的基础模型从nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-Base-BF16初始化。该模型包含约30B总参数和3B活跃参数，使用Mamba2-Transformer混合专家（MoE）架构。为了将基础Nemotron-SEA-LION-v4.8-30B-A3B-Base模型适配于东南亚语言和语境，我们在涵盖问答、推理、代码和多语言翻译数据的150B高质量token上进行持续预训练。训练使用Megatron Bridge (https://github.com/NVIDIA-NeMo/Megatron-Bridge) 进行。我们保留了原始分词器，未做修改，并保持了模型的最大上下文长度为1M token111然而，在后训练步骤中，我们仅将上下文长度设置为128k。该检查点代表了持续预训练阶段在SEA-LION-v4.8后训练之前的输出。
#### Nemotron-SEA-LION-v4.8-30B-A3B (https://huggingface.co/aisingapore/Nemotron-SEA-LION-v4.8-30B-A3B)
后训练的30B-A3B模型从Nemotron-SEA-LION-v4.8-30B-A3B-Base初始化。因此，它继承了持续预训练模型相同的30B总参数/3B活跃参数的Mamba2-Transformer混合MoE架构、分词器和1M token上下文窗口。我们进一步使用SEA-LION-v4.8后训练框架对模型进行适配，其中在线同策略蒸馏（OPD）作为主要的在线学习目标。该模型代表了完整的30B-A3B SEA-LION-v4.8流水线，结合了以东南亚为重点的持续预训练和大规模在线后训练。
#### Nemotron-SEA-LION-v4.8-120B-A12B-Base (https://huggingface.co/aisingapore/Nemotron-SEA-LION-v4.8-120B-A12B-Base)
我们较大的基础模型从nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16初始化。该模型包含约120B总参数和12B活跃参数，使用NVIDIA Nemotron 3 Super的混合LatentMoE架构，该架构交错使用Mamba-2、专家混合和注意力层，并额外集成了多token预测。我们在涵盖多任务和多语言的33.5B高质量token上进行持续预训练。训练也使用NVIDIA NeMo AutoModel (https://github.com/NVIDIA-NeMo/Automodel) 进行，其中我们保留了原始的Nemotron分词器，未修改词表。生成的检查点作为SEA-LION-v4.8系列中容量更高的持续预训练模型。
#### Nemotron-SEA-LION-v4.8-120B-A12B (https://huggingface.co/aisingapore/Nemotron-SEA-LION-v4.8-120B-A12B)
最终的120B-A12B模型从Nemotron-SEA-LION-v4.8-120B-A12B-Base初始化，随后经过SEA-LION-v4.8后训练。模型保留了约120B总参数和12B活跃参数，以及从持续预训练检查点继承的分词器、架构和1M token上下文窗口。我们应用与30B-A3B模型相同的在线后训练框架，该框架以在线同策略蒸馏为核心。该检查点代表了SEA-LION-v4.8系列中的高能力成员，结合了大规模持续预训练和在线后训练，且模型容量显著更大。
## 3 持续预训练
我们的CPT阶段旨在增强东南亚语言的表示，同时保留从原始Nemotron 3模型继承的推理、编程和通用能力。我们主要依赖结构化、面向能力的数据，而非通用网络文本，这些数据包括问答、思维链推理、数学和科学推理、代码以及双语平行数据。30B-A3B模型使用Megatron Bridge训练，而120B-A12B模型使用NVIDIA NeMo AutoModel训练。训练数据和CPT策略描述如下。
### 3.1 预训练数据
我们构建了一个包含150B token的CPT语料库，由东南亚指令数据、面向推理的数据、代码和双语平行数据组成。该语料库旨在增加对东南亚语言的接触，同时保留原始Nemotron 3基础模型的通用推理和知识能力。训练数据可大致分为三组。此外，表2 (https://arxiv.org/html/2609.18310#S3.T2) 总结了CPT混合数据的主要组成部分，图2 (https://arxiv.org/html/2609.18310#S3.F2) 显示了整体数据分布。
东南亚数据。训练混合数据的很大一部分是东南亚数据，涵盖巴厘语、缅甸语、印尼语、爪哇语、高棉语、老挝语、马来语、巽他语、泰米尔语、泰语、越南语和其他区域语言。我们包含了高权重的SEA-Instruct (https://huggingface.co/datasets/aisingapore/SEA-Instruct-2602) 数据，用于缅甸语、印尼语、马来语、泰米尔语和越南语，同时通过双语平行语料库提供额外的语言覆盖。
推理和代码数据。为了在CPT期间保持和增强基础模型的推理能力，我们包含了涵盖代码、数学、科学推理、通用推理、问答和思维链监督的英语和多语言数据集。混合数据还包含泰语医学推理数据。
平行多语言数据。我们包含了双语平行数据，其中一种东南亚语与英语配对。对于每一对，通过在样本间交替源语言和目标语言来表示两个翻译方向。这使模型接触到东南亚语到英语和英语到东南亚语的映射，并提供明确的跨语言训练信号。
| 数据组 | 语言/领域 | 采样权重 |
|----------------|----------------------------|---------------|
| SEA-Instruct | 印尼语 | 10 |
| | 马来语 | 10 |
| | 缅甸语 | 10 |
| | 泰米尔语 | 10 |
| | 越南语 | 10 |
| 推理/代码 | 代码 | 每个数据集2.5 |
| | 数学 | 每个数据集2.5 |
| | 科学推理 | 每个数据集2.5 |
| | 通用推理/CoT | 每个数据集2.5 |
| | 泰语医学推理 | 2.5 |
| 平行数据 | 印尼语 | 2 |
| | 高棉语 | 2 |
| | 老挝语 | 2 |
| | 马来语 | 2 |
| | 缅甸语 | 2 |
| | 泰米尔语 | 2 |
| | 泰语 | 2 |
| | 越南语 | 2 |
| | 中文 | 2 |
| | 孟加拉语 | 0.25 |
| | 爪哇语 | 0.25 |
| | 巽他语 | 0.25 |
表2：用于SEA-LION-v4.8的持续预训练数据混合概览。采样权重决定了每个组成部分对150B token CPT语料库的相对贡献。
图2：150B token持续预训练语料库的分布。混合数据将以东南亚为重点的指令数据与推理、代码和双语平行数据相结合。
### 3.2 分词器
我们保留了原始的分词器...相似文章
@cwolferesearch: 开放技术报告/成果非常有价值。我目前正在阅读所有Nemotron的技术报告，它们…
NVIDIA推出了Llama-Nemotron，这是一个开放的推理模型系列（Nano 8B、Super 49B、Ultra 253B），它们与DeepSeek-R1竞争，具有卓越的推理效率、动态推理切换和开放的后训练数据集。
@kwindla: https://x.com/kwindla/status/2062544580105359686
NVIDIA 发布了 Nemotron 3.5 ASR，这是一款开源的多语言语音转文字模型，在测试中延迟最低，提供多语言和纯英文两个版本，非常适合语音助手和自托管部署场景。
NVIDIA 开源模型助力欧洲各行业自主智能发展
NVIDIA 宣布扩展其开源模型家族，涵盖语言、机器人、生物学和量子计算领域——包括 Nemotron 3.5 Super VL/Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo 和 Ising——帮助欧洲机构构建自主可控、本地定制的 AI 应用。
NVIDIA 发布 Nemotron 3 Nano Omni 模型，统一视觉、音频和语言处理，助力 AI Agent 效率提升高达 9 倍
NVIDIA 宣布推出 Nemotron 3 Nano Omni，这是一款开放的多模态模型，通过统一视觉、音频和语言处理，使 AI Agent 能够更快、更高效地运行。与其他开放式的 Omni 模型相比，其吞吐量最高可提高 9 倍。
nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
NVIDIA 发布了 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4，这是一款采用 NVFP4 量化的视觉语言模型，拥有 1200 亿总参数/120 亿激活参数，采用 Mamba-2 混合 MoE 架构，配备 C-RADIO 视觉编码器，支持最高 100 万 token 的上下文窗口，并原生支持多 token 预测以实现投机解码，采用 OpenMDW-1.1 许可证，可用于商业和非商业用途。