Nemotron 3 Ultra。5500亿参数，550亿活跃参数，100万token上下文窗口
摘要
NVIDIA发布Nemotron 3 Ultra，一个庞大的5500亿参数混合专家模型，具有550亿活跃参数和100万token的上下文窗口。
暂无内容
相似文章
Nemotron 3 Ultra：用于智能体推理的高效开源混合专家Mamba-Transformer模型
Nemotron 3 Ultra 是一个550B参数的混合Mamba-Attention专家混合语言模型，在20T tokens上预训练，扩展至1M上下文，并通过SFT、RL和MOPD进行后训练。相比同等精度的一流LLM，其推理吞吐量最高可提升6倍，并已开源。
nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4
NVIDIA 发布 Nemotron-3-Ultra，一个拥有 5500 亿参数的开源权重模型，采用结合 Mamba-2、MoE 和注意力的混合架构，支持高达 100 万 token 的上下文长度和可配置的推理模式。
@heyshrutimishra：NVIDIA 刚刚发布了 Nemotron 3.5 Lightning，300 亿参数，只有 30 亿激活，专为执行层打造…
NVIDIA 发布了 Nemotron 3.5 Lightning，这是一个拥有 300 亿参数的 MoE 模型，只有 30 亿激活参数，针对智能体执行任务进行了优化。它声称在保持 OpenMDW-1.1 完全开源的同时，实现更快、更便宜的工具调用和智能体执行。
nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 · Hugging Face
NVIDIA发布Nemotron-3-Ultra-550B-A55B，这是一个5500亿参数（550亿活跃参数）的前沿大语言模型，采用混合LatentMoE架构，结合Mamba-2、MoE和注意力层，支持高达100万令牌的上下文长度和可配置的推理模式。它支持11种语言，并针对复杂的智能体工作流、长上下文分析和高精度推理进行了优化。
NVIDIA推出的Nemotron 3 Ultra
NVIDIA推出了Nemotron 3 Ultra，这是一个新的人工智能模型，旨在为长时间运行的智能体提供更快、更高效的推理能力。