Nemotron-3-Super-120B-A12B（混合Mamba+MoE）在4×3090上实现504K token的完美针检索
摘要
英伟达的Nemotron-3-Super-120B-A12B，一种混合Mamba和混合专家模型，仅使用四块RTX 3090 GPU就实现了在504K token下的完美大海捞针检索。
相似文章
NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B 在双RTX 3090上
关于在双RTX 3090上使用vLLM运行量化后的NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B模型的详细指南，支持完整的262K上下文，实现高推理速度且无需CPU卸载。
@ctnzr: 我们更进一步：Nemotron 3 Super 拥有120B参数，在NVFP4精度下基于25T tokens进行了预训练。Nemotron 3 Ultra 大约为500B参数，……
NVIDIA 宣布推出 Nemotron 3 Super（120B）和 Nemotron 3 Ultra（约500B）模型，这些模型在 NVFP4 精度下基于25T tokens进行了预训练，强调加速计算和效率提升。
nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4
NVIDIA 发布 Nemotron-3-Ultra，一个拥有 5500 亿参数的开源权重模型，采用结合 Mamba-2、MoE 和注意力的混合架构，支持高达 100 万 token 的上下文长度和可配置的推理模式。
nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
NVIDIA 发布了 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4，这是一款采用 NVFP4 量化的视觉语言模型，拥有 1200 亿总参数/120 亿激活参数，采用 Mamba-2 混合 MoE 架构，配备 C-RADIO 视觉编码器，支持最高 100 万 token 的上下文窗口，并原生支持多 token 预测以实现投机解码，采用 OpenMDW-1.1 许可证，可用于商业和非商业用途。
Nvidia 发布 Nemotron 3.5 Super VL（5 分钟阅读）
NVIDIA 发布 Nemotron 3.5 Super VL，一款 120B 参数的多模态混合专家（MoE）模型，每 token 激活 12B 参数，面向企业级智能体工作流，支持文本、图像、文档和视频理解，单 GPU 上吞吐量较同类开源模型提升高达 5 倍，并可通过 NeMo 进行后训练定制。