Nemotron 3 Ultra。5500亿参数，550亿活跃参数，100万token上下文窗口
摘要
NVIDIA发布Nemotron 3 Ultra，一个庞大的5500亿参数混合专家模型，具有550亿活跃参数和100万token的上下文窗口。
暂无内容
相似文章
nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 · Hugging Face
NVIDIA发布Nemotron-3-Ultra-550B-A55B，这是一个5500亿参数（550亿活跃参数）的前沿大语言模型，采用混合LatentMoE架构，结合Mamba-2、MoE和注意力层，支持高达100万令牌的上下文长度和可配置的推理模式。它支持11种语言，并针对复杂的智能体工作流、长上下文分析和高精度推理进行了优化。
NVIDIA推出的Nemotron 3 Ultra
NVIDIA推出了Nemotron 3 Ultra，这是一个新的人工智能模型，旨在为长时间运行的智能体提供更快、更高效的推理能力。
@ctnzr: 我们更进一步：Nemotron 3 Super 拥有120B参数，在NVFP4精度下基于25T tokens进行了预训练。Nemotron 3 Ultra 大约为500B参数，……
NVIDIA 宣布推出 Nemotron 3 Super（120B）和 Nemotron 3 Ultra（约500B）模型，这些模型在 NVFP4 精度下基于25T tokens进行了预训练，强调加速计算和效率提升。
@mervenoyann: NVIDIA Nemotron Ultra 来了 > 55B/550B 混合MoE  百万上下文窗口 > 支持MTP推测解码 > da…
NVIDIA发布了Nemotron Ultra，这是一个拥有55B/550B参数的混合MoE模型，具有百万上下文窗口，支持MTP推测解码，并在transformers中提供day-0支持。
NVIDIA Nemotron 3 Ultra 已发布。
NVIDIA 发布了 Nemotron 3 Ultra，这是一款新模型，旨在为长期运行的 AI 智能体提供更快、更高效的推理能力。