@NVIDIAAI: 不客气
摘要
NVIDIA AI 发布了一个75B的MoE模型（9.3B活跃），该模型使用Iterative Puzzle框架从Nemotron-3-Super-120B压缩而来，支持100万token上下文。
查看缓存全文
缓存时间: 2026/07/08 03:40
不客气 👊
mr-r0b0t (@mr_r0b0t): @NVIDIAAI 刚刚赠予我们一个 75B MoE 🤩🤩🤩
nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4
总参数量 75.3B / 激活参数量 9.3B，使用 Iterative Puzzle 框架从 Nemotron-3-Super-120B 压缩而来。 支持 1M token 上下文！
非常适合您的单台 GB10 ♥️
相似文章
nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 · Hugging Face
NVIDIA 发布了 Nemotron-Labs-3-Puzzle-75B-A9B，这是一种从 Nemotron-3-Super 衍生而来的压缩混合 MoE 大型语言模型，实现了约 2 倍更高的服务器吞吐量和更高的并发性，同时在推理、编码和长上下文基准测试中保持强劲的准确度。
@omarsar0: NVIDIA 的压缩论文，相当惊艳。（记得收藏）更大的 MoE 模型在质量上持续胜出，但以交互延迟提供服务仍然困难…
NVIDIA 的论文介绍了 Puzzle-75B-A9B，这是一种压缩的混合 MoE 模型，能够在保持质量的同时将服务器吞吐量提高一倍，从而实现大型语言模型的成本高效部署。
nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4
NVIDIA 发布了 Nemotron-Labs-3-Puzzle-75B-A9B，它是 Nemotron-3-Super 的压缩版本，推理效率更高，基准测试性能强劲。
nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 · Hugging Face
NVIDIA发布Nemotron-3-Ultra-550B-A55B，这是一个5500亿参数（550亿活跃参数）的前沿大语言模型，采用混合LatentMoE架构，结合Mamba-2、MoE和注意力层，支持高达100万令牌的上下文长度和可配置的推理模式。它支持11种语言，并针对复杂的智能体工作流、长上下文分析和高精度推理进行了优化。
nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4
NVIDIA 发布 Nemotron-3-Ultra，一个拥有 5500 亿参数的开源权重模型，采用结合 Mamba-2、MoE 和注意力的混合架构，支持高达 100 万 token 的上下文长度和可配置的推理模式。