nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4 · Hugging Face

来源：https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4

描述

Nemotron-Labs-3-Puzzle-75B-A9B 是 NVIDIA 开发的一款面向部署优化的高性能大语言模型，它源自 Nemotron-3-Super-120B-A12B。该模型采用 Iterative Puzzle（一种训练后压缩框架）生成，旨在显著提升推理密集型、长上下文以及交互式工作负载的推理效率，同时保持强大的下游准确率。

该模型采用了混合 MoE 架构，包含交错的 Mamba、MoE 和注意力层。与 Nemotron-3-Super 相同，它支持多 Token 预测（MTP）以加速文本生成。与父模型相比，Puzzle-75B-A9B 将总参数量从 120.7B（12.8B 活跃参数）压缩至 75.3B（9.3B 活跃参数）。

完整的训练和压缩细节请参见技术报告：Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs（https://arxiv.org/abs/2607.04371）。

与 Nemotron-3-Super 相比，Puzzle-75B-A9B：

• 在单个 8×B200 节点上，在匹配用户吞吐量约束条件下，服务器吞吐量提升约 2 倍；
• 将单块 H100 上可持续的 100 万 Token 并发数从 1 个请求提升至 8 个请求；
• 在推理、编程、多语言、长上下文和代理型基准测试中均保持强大准确率。

支持的语言包括：英语、法语、德语、意大利语、日语、西班牙语和中文。

该模型可供商业使用。

许可协议/使用条款

**下载条款：**该模型的使用受 OpenMDW 许可协议 1.1 版（https://raw.githubusercontent.com/OpenMDW/OpenMDW/refs/heads/main/1.1/LICENSE.OpenMDW-1.1）（OpenMDW-1.1）的约束。

本项目目前不接受贡献。

基准测试

所有评估结果均通过 Nemo Evaluator SDK（https://github.com/NVIDIA-NeMo/Evaluator）收集，大部分基准测试使用 Nemo Skills Harness（https://github.com/NVIDIA-NeMo/Skills）。为便于复现，评估设置的更多细节可参见 Nemo Evaluator SDK 配置文件夹（https://github.com/NVIDIA-NeMo/Evaluator/tree/main/packages/nemo-evaluator-launcher/examples/nemotron/nemotron-3-super）以及 Nemotron 3 Super 的复现教程（https://github.com/NVIDIA-NeMo/Evaluator/blob/main/packages/nemo-evaluator-launcher/examples/nemotron/nemotron-3-super/reproducibility.md）。评估所用的、基于 Nemo Skills 并通过 NVIDIA Nemo Evaluator SDK 打包的开源容器可在此处找到（https://catalog.ngc.nvidia.com/orgs/nvidia/teams/eval-factory/containers/nemo_skills）。除 Nemo Skills 外，评估还使用了专门的开源打包容器，包括 Tau-2 Bench（默认 prompt）、Terminal Bench Hard（48 个任务）、ScaleAI Multi Challenge 多轮指令遵循以及 Ruler。

以下基准测试尚未集成到我们的开源工具中，我们使用了其官方开源实现或内部脚手架（未来计划开源）：SWE Bench Verified（OpenHands）。

部署地域

全球

使用场景

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4 是一款通用推理与聊天模型，适用于英语、代码及支持的多语言场景。该模型针对协作代理和高容量工作负载进行了优化，适用于设计 AI 代理系统、聊天机器人、RAG 系统及其他 AI 驱动的应用程序。该模型同样适合复杂的指令遵循任务和长上下文推理。

发布日期

2026 年 7 月 6 日，通过 Hugging Face（https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4）发布。

参考文献

• [2411.19146] Puzzle: Distillation-Based NAS for Inference-Optimized LLMs
• [2604.12374] Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

模型架构

• 架构类型： Mamba2-Transformer 混合隐式专家混合模型（LatentMoE），支持多 Token 预测（MTP）
• 网络架构： 修改自 Nemotron-3-Super-120B-A12B-NVFP4（https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4）架构，具有更小的 Mamba SSM 状态大小、每层可变数量的活跃专家以及跨层可变的专家中间通道大小。
• 模型参数量： 75B 总参数 / 9.3B 活跃参数

模型设计

Puzzle-75B-A9B 是 Nemotron-3-Super 的压缩变体，专为交互式部署优化。我们设计该模型旨在高用户吞吐量约束下最大化服务器吞吐量。

该模型通过多阶段流水线构建，结合了 Iterative Puzzle 压缩框架、知识蒸馏、强化学习、量化以及多 Token 预测头。压缩过程联合优化异构 MoE 剪枝、活跃参数预算和 Mamba 剪枝，以提升推理效率同时保持模型质量。由于父模型已具备高效的 KV 缓存，注意力层保持不变。

压缩应用于三个架构维度：

• 异构 MoE 通道剪枝： 对路由专家中间维度进行非均匀剪枝。父模型路由专家中间大小为 2688，缩减为依赖层的 1280–2688 范围，在敏感层保留更多容量，在其他层则更大幅度剪枝。
• 异构活跃专家数量缩减： 每个 Token 激活的路由专家数量从父模型的 22 个减少为依赖层的 4–18 个。这减少了活跃参数，并提升了计算受限推理阶段（如预填充和大批量解码）的效率。
• Mamba SSM 状态剪枝： Mamba SSM 状态大小从 128 通道缩减为 96 通道。这减少了 Mamba 缓存 I/O，提升了解码阶段效率，尤其是在大批量场景下。

训练与优化过程

Puzzle-75B-A9B 通过一个训练后压缩与恢复流水线生成，起始于 Nemotron-3-Super。该流水线结合了 Iterative Puzzle 压缩、知识蒸馏、强化学习恢复、训练后量化以及持续的 MTP 训练。

阶段 1：Iterative Puzzle 压缩

模型通过三个压缩-恢复阶段构建。每个阶段将模型剪枝至某个中间目标预算，然后在下一步压缩之前进行一次简短的知识蒸馏恢复阶段。

第一阶段：MoE 权重缩减至教师容量的 75%，Mamba SSM 状态大小缩减至教师大小的 75%。所得模型通过 24B Token 的知识蒸馏恢复。 第二阶段：MoE 权重进一步缩减至教师容量的 60%，随后进行 43.2B Token 的知识蒸馏恢复。 第三阶段：激活路由专家预算（MoE top-k）约束为教师预算的 50%，Puzzle 将此预算跨层异构分配。所得模型通过 52.8B Token 的知识蒸馏恢复。

阶段 2：长上下文知识蒸馏恢复

架构选择后，压缩模型从 Nemotron-3-Super 进行额外的知识蒸馏，以恢复压缩过程中丢失的质量，并恢复长上下文能力。

训练使用 30% 预训练数据与 70% 监督微调数据的混合。在 Iterative Puzzle 阶段，知识蒸馏在 32K 序列长度下进行。最终恢复阶段将蒸馏扩展到更长上下文，首先在 128K，然后 512K 序列长度，每个阶段使用最多 100B 训练 Token，全局批大小为 16M Token。

知识蒸馏所用软件：Megatron-Bridge（https://github.com/NVIDIA-NeMo/Megatron-Bridge）和 Megatron-LM（https://github.com/nvidia/megatron-lm）。

阶段 3：强化学习（RL）恢复

知识蒸馏之后，模型进行强化学习恢复，主要关注软件工程和代理型能力，这些能力对压缩尤为敏感。

RL 阶段遵循 Nemotron-3-Super 软件工程 RL 流水线（SWE-RL（https://docs.nvidia.com/nemotron/nightly/nemotron/super3/rl/swe.html）），包括单步工具使用比较训练和端到端沙箱 RL，其中代理与隔离执行环境进行多轮交互。使用不同学习率训练多个 RL 运行，最终检查点通过对选定运行进行权重平均获得。

强化学习所用软件：NeMo-RL（https://github.com/nvidia-nemo/rl）

阶段 4：部署优化

得到的检查点进一步通过训练后量化为部署做准备。FP8 检查点目标为 Hopper 系列 GPU，NVFP4 检查点目标为 Blackwell 系列 GPU。模型还使用持续的 MTP 训练来提高推测解码接受长度并增加服务吞吐量。

输入

• 输入类型： 文本
• 输入格式： 字符串
• 输入参数： 一维（1D）：序列
• 与输入相关的其他属性： 最大上下文长度可达 1M Token。支持的语言包括：英语、法语、德语、意大利语、日语、西班牙语和中文

输出

• 输出类型： 文本
• 输出格式： 字符串
• 输出参数： 一维（1D）：序列
• 与输出相关的其他属性： 最大上下文长度可达 1M Token

我们的 AI 模型针对 NVIDIA GPU 加速系统设计和优化。通过利用 NVIDIA 硬件（例如 GPU 核心）和软件框架（例如 CUDA 库），与纯 CPU 解决方案相比，该模型实现了更快的训练和推理时间。

软件集成

• 运行时引擎： Hugging Face Transformers、vLLM
• 支持的硬件微架构兼容性： NVIDIA Blackwell、NVIDIA Hopper
• 支持的操作系统： Linux

将基础模型和微调模型集成到 AI 系统中需要额外的、使用特定用例数据的测试，以确保安全有效的部署。遵循 V 模型方法论，在单元和系统层面进行迭代测试和验证，对于降低风险、满足技术和功能需求、确保部署前符合安全和伦理标准至关重要。

模型版本

• v1.0 - GA

快速入门指南

服务部署

vLLM

要在 NVIDIA Blackwell GPU 上部署 Nemotron Labs 3 Puzzle NVFP4 检查点，请使用以下命令：

• 启用 MTP：

vllm serve "$path" \
  --served-model-name "$model" \
  --port "$port" \
  --tensor-parallel-size "$tp" \
  --enable-expert-parallel \
  --async-scheduling \
  --trust-remote-code \
  --mamba-backend flashinfer \
  --mamba_ssm_cache_dtype float16 \
  --enable-mamba-cache-stochastic-rounding \
  --mamba-cache-philox-rounds 5 \
  --speculative-config "{\"method\":\"mtp\",\"num_speculative_tokens\":${num_speculative_tokens}}" \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3 \
  --enable-auto-tool-choice

• 不启用 MTP：

vllm serve "$path" \
  --served-model-name "$model" \
  --port "$port" \
  --tensor-parallel-size "$tp" \
  --enable-expert-parallel \
  --mamba_ssm_cache_dtype float16 \
  --enable-mamba-cache-stochastic-rounding \
  --mamba-cache-philox-rounds 5 \
  --async-scheduling \
  --trust-remote-code \
  --mamba-backend flashinfer \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3 \
  --enable-auto-tool-choice

注意事项：

• 已在 vLLM v0.20.0（https://github.com/vllm-project/vllm/releases/tag/v0.20.0）上测试。
• NVIDIA 建议将 tp 设置为 2 或 4。
• 对于 MTP，num_speculative_tokens=3 是推荐的默认值（典型批大小下最佳吞吐量）；5 或 7 可能对低批量/延迟敏感部署有益。
• 对于极长生成场景，建议使用 --api-server-count 4。可使用 --no-enable-chunked-prefill 来提高吞吐量，但可能会降低响应性。

API 客户端

以下示例使用与 OpenAI 兼容的客户端。

注意：对于编程代理，请在 API 调用中添加 extra_body={"chat_template_kwargs": {"force_nonempty_content": True}}

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
MODEL = "nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4"