nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 · Hugging Face

来源: https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#description描述:

Nemotron-Labs-3-Puzzle-75B-A9B 是 NVIDIA 开发的一款面向部署优化的大型语言模型，源自 Nemotron-3-Super-120B-A12B。该模型采用 Iterative Puzzle（一种训练后压缩框架）生成，旨在显著提升交互式、高推理强度及长上下文工作负载的推理效率，同时保持强大的下游准确率。

该模型采用混合 MoE 架构，交错使用了 Mamba、MoE 和 Attention 层。与 Nemotron-3-Super 类似，它支持多令牌预测 (MTP) 以实现更快的文本生成。与父模型相比，Puzzle-75B-A9B 将总/活跃参数量从 120.7B/12.8B 降低至 75.3B/9.3B。

有关完整的训练和压缩细节，请参阅技术报告：Nemotron-Labs-3-Puzzle-75B-A9B：压缩混合 MoE 大语言模型 (https://arxiv.org/abs/2607.04371)。

与 Nemotron-3-Super 相比，Puzzle-75B-A9B：

• 在单个 8×B200 节点上，在匹配用户吞吐量约束下，服务器吞吐量提升约 2 倍，
• 将单个 H100 上可持续的 1M 令牌并发数从 1 个请求增加到 8 个请求，
• 在推理、编程、多语言、长上下文和智能体基准测试中保持强大的准确率。

支持的语言包括：英语、法语、德语、意大利语、日语、西班牙语和中文。

该模型可用于商业用途。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#licenseterms-of-use许可/使用条款

**下载条款：**使用本模型需遵守 OpenMDW 许可协议 1.1 版 (https://raw.githubusercontent.com/OpenMDW/OpenMDW/refs/heads/main/1.1/LICENSE.OpenMDW-1.1) (OpenMDW-1.1)。

本项目目前不接受贡献。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#benchmarks基准测试

基准测试Nemotron-Labs-3-Puzzle-75B-A9B-BF16Nemotron-3-Super-120B-A12B-BF16****常识知识MMLU-Pro82.483.8推理AIME25 (无工具)89.792.2HMMT Feb25 (无工具)93.494.2HMMT Feb25 (有工具)93.995.5GPQA (无工具)78.680.5GPQA (有工具)79.581.3LiveCodeBench (v5 2024-07↔2024-12)81.182.1SciCode (子任务)40.642.3HLE (无工具)16.518.5智能体Terminal Bench (困难子集)24.025.5SWE-Bench (OpenHands)56.959.5TauBench V2航空55.856.9零售63.264.3电信61.561.1平均60.260.8聊天与指令遵循IFBench (提示)71.973.4Scale AI Multi-Challenge56.656.6Arena-Hard-V268.672.8长上下文AA-LCR56.956.8RULER @ 256k95.196.7RULER @ 512k94.295.7RULER @ 1M92.293.9多语言MMLU-ProX (语言平均)77.579.5WMT24++ (en→xx)85.286.8 所有评估结果均通过 Nemo Evaluator SDK (https://github.com/NVIDIA-NeMo/Evaluator) 收集，对于大多数基准测试，还使用了 Nemo Skills Harness (https://github.com/NVIDIA-NeMo/Skills)。为便于复现，更多评估设置详情可参见 Nemo Evaluator SDK 配置文件夹 (https://github.com/NVIDIA-NeMo/Evaluator/tree/main/packages/nemo-evaluator-launcher/examples/nemotron/nemotron-3-super) 和 Nemotron 3 Super 复现教程 (https://github.com/NVIDIA-NeMo/Evaluator/blob/main/packages/nemo-evaluator-launcher/examples/nemotron/nemotron-3-super/reproducibility.md)。用于评估的基于 Nemo Skills 的开源容器（通过 NVIDIA 的 Nemo Evaluator SDK 打包）可在此处获取 (https://catalog.ngc.nvidia.com/orgs/nvidia/teams/eval-factory/containers/nemo_skills)。除 Nemo Skills 外，评估还使用了专门的开源打包容器用于 Tau-2 Bench（默认提示）、Terminal Bench Hard（48 个任务）、ScaleAI Multi Challenge 多轮指令遵循以及 Ruler。

以下基准测试尚未在我们的开源工具中上线，我们使用了其官方开源实现或内部框架（计划将来开源）：SWE Bench Verified (OpenHands)。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#deployment-geography部署地域：

全球

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#use-case-用例：

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 是一个通用推理和聊天模型，旨在用于英语、代码及支持的多语言环境。该模型针对协作式智能体和高并发工作负载进行了优化，适用于开发 AI 智能体系统、聊天机器人、RAG 系统及其他 AI 驱动应用的开发者。该模型也适用于复杂的指令遵循任务和长上下文推理。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#release-date–发布日期：

2026 年 7 月 6 日，通过 Hugging Face (https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16) 发布

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#referencess参考文献：

• [2411.19146] Puzzle: Distillation-Based NAS for Inference-Optimized LLMs
• [2604.12374] Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#model-architecture模型架构：

• **架构类型：**Mamba2-Transformer 混合潜在混合专家 (LatentMoE) 并支持多令牌预测 (MTP)
• **网络架构：**修改自 Nemotron-3-Super-120B-A12B-BF16 (https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16) 架构，具有更小的 Mamba SSM 状态大小、每层不同数量的活跃专家以及各层专家中间通道大小不同的特点。
• **模型参数量：**75B 总参数 / 9.3B 活跃参数

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#model-design模型设计

Puzzle-75B-A9B 是 Nemotron-3-Super 的压缩版本，针对交互式部署进行了优化。我们设计该模型以在用户高吞吐量约束下最大化服务器吞吐量。

该模型通过多阶段流水线构建，结合了 Iterative Puzzle 压缩框架、知识蒸馏、强化学习、量化及多令牌预测头。压缩过程联合优化了异质 MoE 剪枝、活跃参数预算和 Mamba 剪枝，以提升推理效率同时保持模型质量。注意力层保持不变，因为父模型已经具备高效的 KV 缓存。

压缩应用于三个架构维度：

• **异质 MoE 通道剪枝：**路由专家中间维度在 MoE 层上非均匀剪枝。父模型路由专家中间大小 2688 被缩减为每层依赖的范围 1280-2688，在敏感层保留更多容量，而在其他层更激进地剪枝。
• **异质活跃专家减少：**每个令牌激活的路由专家数量从父模型中的 22 个减少到每层依赖的范围 4-18 个。这减少了活跃参数，并在计算受限的推理场景（如预填充和大批量解码）中提高了效率。
• **Mamba SSM 状态剪枝：**Mamba SSM 状态大小从 128 通道减少到 96 通道。这减少了 Mamba 缓存 I/O，并提升了解码阶段效率，尤其是在大批量场景下。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#training-and-optimization-procedure训练与优化过程

Puzzle-75B-A9B 通过一个从 Nemotron-3-Super 开始的训练后压缩与恢复流水线生成。该流水线结合了 Iterative Puzzle 压缩、知识蒸馏、强化学习恢复、训练后量化以及持续的 MTP 训练。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#stage-1-iterative-puzzle-compression阶段 1：Iterative Puzzle 压缩

该模型通过三个压缩与恢复阶段构建。每个阶段将模型剪枝到一定的中间目标预算，然后在下一次压缩步骤之前执行简短的知识蒸馏恢复阶段。

在第一阶段，MoE 权重减少到教师容量的 75%，Mamba SSM 状态大小减少到教师大小的 75%。生成的模型通过 24B 令牌的知识蒸馏进行恢复。第二阶段，MoE 权重进一步减少到教师容量的 60%，随后进行 43.2B 令牌的知识蒸馏恢复。在最后阶段，活跃路由专家预算（MoE top-k）被限制为教师预算的 50%，Puzzle 将此预算在层间异质分配。生成的模型通过 52.8B 令牌的知识蒸馏进行恢复。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#stage-2-long-context-knowledge-distillation-recovery阶段 2：长上下文知识蒸馏恢复

架构选择后，压缩模型会接受来自 Nemotron-3-Super 的额外知识蒸馏，以恢复压缩过程中损失的质量并恢复长上下文能力。

训练使用了 30% 预训练数据和 70% 监督微调数据的混合。在 Iterative Puzzle 阶段，知识蒸馏在 32Ki 序列长度下进行。最终恢复阶段将蒸馏扩展到更长的上下文，首先在 128Ki，然后在 512Ki 序列长度下进行，每个阶段使用多达 100B 训练令牌，全局批次大小为 16Mi 令牌。

用于知识蒸馏的软件：Megatron-Bridge (https://github.com/NVIDIA-NeMo/Megatron-Bridge) 和 Megatron-LM (https://github.com/nvidia/megatron-lm)。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#stage-3-reinforcement-learning-rl-recovery阶段 3：强化学习 (RL) 恢复

知识蒸馏之后，模型进行强化学习恢复，主要针对对压缩特别敏感的软件工程和智能体能力。

RL 阶段遵循 Nemotron-3-Super 软件工程 RL 流水线 (SWE-RL (https://docs.nvidia.com/nemotron/nightly/nemotron/super3/rl/swe.html))。它包括单步工具使用比较训练和端到端沙箱 RL，其中智能体在多个回合中与隔离的执行环境交互。使用不同的学习率训练多个 RL 运行，最终检查点通过对选定运行的权重平均获得。

用于强化学习的软件：NeMo-RL (https://github.com/nvidia-nemo/rl)

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#stage-4-deployment-optimization阶段 4：部署优化

生成的检查点通过训练后量化为部署做进一步准备。FP8 检查点面向 Hopper 级 GPU，而 NVFP4 检查点面向 Blackwell 级 GPU。该模型还使用持续的 MTP 训练来改进推测解码接受长度并增加服务吞吐量。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#input输入

• **输入类型：**文本
• **输入格式：**字符串
• **输入参数：**一维 (1D)：序列
• **输入相关其他属性：**最大上下文长度达 1M 令牌。支持的语言包括：英语、法语、德语、意大利语、日语、西班牙语和中文

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#output输出

• **输出类型：**文本
• **输出格式：**字符串
• **输出参数：**一维 (1D)：序列
• **输出相关其他属性：**最大上下文长度达 1M 令牌

我们的 AI 模型专为在 NVIDIA GPU 加速系统上运行而设计和优化。通过利用 NVIDIA 的硬件（如 GPU 核心）和软件框架（如 CUDA 库），该模型相比纯 CPU 方案实现了更快的训练和推理时间。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#software-integration软件集成：

• 运行时引擎：Hugging Face Transformers, vLLM
• 支持的硬件微架构兼容性：NVIDIA Blackwell, NVIDIA Hopper
• 支持的操作系统：Linux

将基础模型和微调模型集成到 AI 系统中，需要额外的使用场景特定数据测试，以确保安全有效的部署。遵循 V 模型方法，在系统和单元级别进行迭代测试和验证对于降低风险、满足技术功能需求以及确保部署前符合安全和伦理标准至关重要。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#model-versions模型版本

• v1.0 - GA

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#quick-start-guide快速入门指南

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#serving服务部署

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#vllmvLLM

要在 NVIDIA Hopper GPU 上部署 Nemotron Labs 3 Puzzle BF16 和 FP8 检查点，请使用以下命令：

• 带 MTP：

vllm serve "$path" \
  --served-model-name "$model" \
  --port "$port" \
  --tensor-parallel-size "$tp" \
  --enable-expert-parallel \
  --async-scheduling \
  --trust-remote-code \
  --mamba-backend flashinfer \
  --speculative-config "{\"method\":\"mtp\",\"num_speculative_tokens\":${num_speculative_tokens}}" \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3 \
  --enable-auto-tool-choice \
  --gpu-memory-utilization 0.85

• 不带 MTP：

vllm serve "$path" \
  --served-model-name "$model" \
  --port "$port" \
  --tensor-parallel-size "$tp" \
  --enable-expert-parallel \
  --async-scheduling \
  --trust-remote-code \
  --mamba-backend flashinfer \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3 \
  --enable-auto-tool-choice \
  --gpu-memory-utilization 0.85

注意：

• 已在 vLLM v0.20.0 (https://github.com/vllm-project/vllm/releases/tag/v0.20.0) 上测试。
• NVIDIA 建议将 tp 设置为 2 或 4。
• 对于 MTP，num_speculative_tokens=3 是推荐的默认值（典型 BS 下最佳吞吐量）；5 或 7 可能有利于低批次/延迟敏感型部署。
• 对于 NVIDIA H200 SXM 部署，NVIDIA 建议使用 --gpu-memory-utilization 0.9。
• 对于非常长的生成场景，建议使用 --api-server-count 4。

https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16#api-clientAPI 客户端

以下示例使用 OpenAI 兼容客户端。

注意：对于编码智能体，请在 API 调用中添加 extra_body={"chat_template_kwargs": {"force_nonempty_content": True}}

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
MODEL = "nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16"

推理开启（默认）

response = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "Write a haiku about GPUs"}],
    max_tokens=16000,
    temperature=1.0,
    top_p=0.95,
    extra_body={"chat_template_kwargs": {"enable_thinking": True}}
)
print(respo