论文页面 - Nemotron 3 Ultra：用于智能推理的开放、高效混合专家Mamba-Transformer模型

来源：https://huggingface.co/papers/2606.15007 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

Nemotron 3 Ultra 是一款大规模语言模型，采用混合 Mamba-Attention 架构，拥有 5500 亿参数，通过专门的训练技术实现了高推理吞吐量和扩展的上下文长度。

我们推出 Nemotron 3 Ultra，一个总参数 5500 亿、激活参数 550 亿的混合专家模型（混合专家）与 混合 Mamba-Attention 语言模型。我们在 20 万亿文本词元上对 Nemotron 3 Ultra 进行了预训练，随后将上下文长度扩展到 100 万词元，并使用监督微调（SFT）、强化学习（RL）和多教师同策略蒸馏（MOPD）进行后训练。Nemotron 3 Ultra 是我们目前为止最强大的模型，融合了多项关键技术 —— 潜在MoE、多词元预测（MTP）、NVFP4 预训练、多环境 RLVR、MOPD 以及推理预算控制。与当前公开可用的顶尖大语言模型相比，Nemotron 3 Ultra 在达到同等精度的同时，推理吞吐量最高可提升约 6 倍。其顶尖的精度、高推理吞吐量以及 100 万词元的上下文长度，使 Nemotron 3 Ultra 成为长时间自主代理任务的理想选择。我们在 HuggingFace 上开源了基础模型、后训练模型、量化模型，以及训练数据和配方。

查看 arXiv 页面 查看 PDF 添加到收藏

在您的代理中获取此论文：

hf papers read 2606.15007

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 (0)

没有模型链接此论文

请在模型的 README.md 中引用 arxiv.org/abs/2606.15007，以便从此页面链接。

引用此论文的数据集 (0)

没有数据集链接此论文

请在数据集的 README.md 中引用 arxiv.org/abs/2606.15007，以便从此页面链接。

引用此论文的 Spaces (0)

没有 Space 链接此论文

请在 Space 的 README.md 中引用 arxiv.org/abs/2606.15007，以便从此页面链接。

包含此论文的收藏集 (4)