NVIDIA 推出的重磅压缩论文。

（收藏它）

更大的 MoE 模型在质量上持续领先，但要使其在交互式延迟下提供服务仍然困难。

NVIDIA 将混合 MoE 模型 Nemotron-3-Super 压缩为 Puzzle-75B-A9B，在保持质量的前提下，交互式服务吞吐量大约翻倍。

重点关注联合结构搜索。异构 MoE 剪枝、活跃参数预算和 Mamba 剪枝被一起优化，而不是逐一进行，并封装在包含蒸馏、强化学习、量化和多头预测头的迭代流水线中。

为什么这很重要？

在单个 8×B200 节点上，在匹配的用户吞吐量约束下，其服务吞吐量约为原模型的 2 倍；在单个 H100 上，1M token 并发数从 1 个请求增加到 8 个。准确性在推理、编码、长上下文和智能体基准测试中均保持稳定。

保持智能体能力的同时降低成本，这会改变你能负担这些模型运行的范围。

论文：https://arxiv.org/abs/2607.04371

在我们的学院中学习构建有效的 AI 智能体：https://academy.dair.ai

Nemotron-Labs-3-Puzzle-75B-A9B：压缩混合 MoE 大语言模型

来源：https://arxiv.org/html/2607.04371

摘要

我们提出了 Nemotron-Labs-3-Puzzle-75B-A9B，这是 Nemotron-3-Super 的一个压缩变体，专为交互式部署而优化。我们设计该模型旨在高用户吞吐量约束下最大化服务器吞吐量。

在单个 8×B200 节点的交互式服务工作负载中，Puzzle-75B-A9B 在匹配的用户吞吐量约束下，其服务器吞吐量约为 Nemotron-3-Super 的 2 倍。

在单个 H100 GPU 的超长上下文部署中，压缩模型将 1M token 并发数从 1 个请求增加到 8 个请求。

Puzzle-75B-A9B 通过一个多阶段流水线构建，该流水线结合了迭代 Puzzle 压缩框架与知识蒸馏、强化学习、量化和多头预测头。压缩过程联合优化了异构 MoE 剪枝、活跃参数预算和 Mamba 剪枝，从而在保持模型质量的同时提高推理效率。

我们在广泛的推理、编码、多语言、长上下文和智能体基准测试上评估了 Puzzle-75B-A9B。尽管进行了大幅度压缩，该模型在各类任务上相对于原模型仍保持了强大的下游准确性。这些结果表明，大型混合 MoE 模型可以在保持强大下游能力的同时，显著优化部署效率。

作者：Akhiad Bercovich, Talor Abramovich, Daniel Afrimi, Shay Aharon, Nir Ailon, Vladimir Anisimov, Omer Ullman Argov, Maor Ashkenazi, Tomer Asida, Nave Assaf, Tomer Bar Natan, Alexander Bukharin, Grzegorz Chlebus, Marcin Chochowski, Eric Chung, Mohammad Dabbah, Carlo del Mundo, Ewa Dobrowolska, Ido Galil, Yaniv Galron, Amnon Geifman, Yonatan Geifman, Izik Golan, Alex Gronskiy, Tomasz Grzegorzek, Netanel Haber, Lior Kadoch, Grzegorz Karch, Tomer Keren, Abhinav Khattar, Amir Klein, Tugrul Konuk, Roi Koren, Daniel Korzekwa, Shaun Kotek, Konstantinos Krommydas, Itay Levy, Ofri Masad, Yoav Miron, Pavlo Molchanov, Shahar Mor, Zach Moshe, Saurav Muralidharan, Najeeb Nabwani, Besmira Nushi, Mostofa Patwary, Omri Puny, Johannes Rausch, Tomer Ronen, Sepehr Sameni, Itamar Schen, Elad Segal, Daniel Serebrenik, Ido Shahaf, Soumye Singhal, Daniil Sorokin, Sharath Turuvekere Sreenivas, Marta Stepniewska-Dziubinska, Ali Taghibakhshi, Nima Tajbakhsh, Oren Tropp, Dor Tzur, Anna Warno, Yi-Fu Wu, Michal Zawalski, Jiaqi Zeng, Yian Zhang, Ran Zilberstein, Amit Zuker, Ran El-Yaniv

参见图注图1：在单个 8×B200 节点上，所有模型以匹配的 NVFP4 量化服务时的准确率-效率权衡。x 轴是相对完成的请求数，归一化到 Nemotron-3-Super 单步解码==1。它是根据帕累托最优总吞吐量（在用户吞吐量 UT=100 tok/s 条件下计算）除以每个模型的平均生成冗余度得到的。y 轴是 Table3 (https://arxiv.org/html/2607.04371#S2.T3) 中基准测试的未加权套件平均准确率。

1 引言

近年来，大型语言模型（LLMs）通过增加参数量和架构复杂性，在推理、编码、长上下文理解和智能体行为方面取得了显著进步。然而，这些改进带来了巨大的推理成本、高内存消耗、更高的服务延迟和降低的部署灵活性。这些限制在生产推理环境中尤为突出，因为系统必须同时满足严格的吞吐量、延迟和上下文长度要求。因此，在不显著降低模型质量的前提下提高推理效率，已成为大规模部署下一代 LLM 的核心挑战。

解决这个问题的常见方法是训练后压缩，即将预训练模型转换为更小、更高效的模型。现有的压缩技术，包括剪枝、量化和知识蒸馏，通常涉及效率与下游能力保持之间的艰难权衡。对于混合 MoE 架构，这一挑战尤为突出，因为其性能不仅取决于总参数量，还取决于活跃参数、KV 缓存大小、Mamba 状态大小以及输入/输出序列长度的比例。此外，不同的部署场景有不同的瓶颈：长输入请求通常是计算密集型，长输出请求通常是 IO 密集型（除非批次非常大），而超长上下文请求通常因巨大的 KV 缓存占用而受限于设备内存。

在这项工作中，我们提出了 Nemotron-Labs-3-Puzzle-75B-A9B，这是 Nemotron-3-Super (Blakeman et al., 2025 (https://arxiv.org/html/2607.04371#bib.bib11)) 的一个压缩且部署优化的变体，旨在大幅提高推理效率，同时保持原模型在推理、编码和长上下文等广泛任务中的能力。我们的方法结合了架构感知压缩和有针对性的训练后恢复技术。我们方法的核心是 Iterative Puzzle，这是 Puzzle 框架 (Bercovich et al., 2025 (https://arxiv.org/html/2607.04371#bib.bib7)) 的顺序扩展，它在基于知识蒸馏（KD）的短恢复阶段和硬件感知的结构压缩之间交替进行。与其一步压缩模型，Iterative Puzzle 逐步构建一系列中间架构，使压缩过程能够适应不断变化的内部表示，并考虑层间依赖或交互。

最终的压缩流水线联合优化了混合模型的多个架构维度。具体来说，我们对 MoE 路由专家执行异构通道剪枝、减少异构活跃专家，并剪枝 Mamba 层的 SSM 状态大小。与均匀缩放方法不同，所提出的方法根据测量的层重要性和部署约束，在网络深度上非均匀地分配容量。这使得压缩后的架构能够在网络中最敏感的关键区域保持容量，同时在其他地方积极减少冗余。为了进一步恢复压缩导致的能力下降，我们应用了中长上下文训练范围内的大规模 KD，随后是基于强化学习（RL）的后训练，专注于软件工程和智能体推理任务。此外，我们还将压缩架构与面向部署的量化（包括 FP8/NVFP4 混合精度推理）和推测解码技术（如多头预测 MTP）相结合。

我们针对两个反映常见生产工作负载的代表性部署场景：(1) 在单个 8-GPU NVIDIA B200 节点上的交互式服务，其中每用户吞吐量是主要的用户体验约束；以及 (2) 在单个 NVIDIA H100 GPU 上的超长上下文智能体工作负载，其中由于百万 token 上下文的 KV 缓存缩放，内存占用成为主要瓶颈。因此，我们针对预填充密集型的 50K/2K（输入/输出）场景（长上下文分析和 RAG 的特征）和解码密集型的 8K/64K 场景（面向推理的生成的特征）优化了 Puzzle-75B-A9B。对于交互式服务，我们的目标是在每个用户至少 100 token/秒（100 TPS 用户吞吐量）的工作点，实现服务器吞吐量比原模型提高 2 倍。

对于超长上下文部署，我们的目标是在单个 H100 GPU 上实现 8 个同时 1M token 请求的可持续并发数，而原模型在组合的 KV 缓存、Mamba 状态内存和参数内存预算下的有效限制是 1 个请求。

最终的 Nemotron-Labs-3-Puzzle-75B-A9B 模型将 Nemotron-3-Super 从 120.7B 总参数/12.8B 活跃参数压缩到 75.3B 总参数/9.3B 活跃参数，在保持推理、编码、多语言、长上下文和智能体基准测试上的强劲性能的同时，实现了显著的效率提升。此外，与 Nemotron-3-Nano (NVIDIA, 2025a (https://arxiv.org/html/2607.04371#bib.bib12))（30B 总参数/3.5B 活跃参数）相比，图1 (https://arxiv.org/html/2607.04371#S0.F1) 显示 Puzzle-75B-A9B 非常高效。具体来说，考虑到 Nano 更高的生成冗余度，运行 Puzzle-75B-A9B+MTP 的服务器在 100 TPS 用户吞吐量下，每分钟完成的用户请求数与运行 Nano（无 MTP）的服务器一样多，同时实现了接近 Super 模型的准确率。我们注意到，通过使用专用的 MTP 模块，Nano 也可能实现额外的吞吐量提升。

2 方法：压缩与恢复技术

我们的方法包括一个两阶段流水线：结构压缩，然后是性能恢复。在第一阶段，我们通过引入 Puzzle 框架的迭代变体，将原始的 Nemotron-3-Super 模型压缩为更小、部署更高效的架构。具体来说，提出的 Iterative Puzzle 方案遵循 Bercovich et al. (2025 (https://arxiv.org/html/2607.04371#bib.bib7)) 的原则，在渐进式结构压缩和短阶段的知识蒸馏（KD）之间交替进行。这种迭代方法能够在硬件感知约束下稳定有效地探索架构，从而针对目标推理环境进行系统优化。

在第二阶段，我们解决激进压缩通常带来的性能下降问题。为此，我们应用知识蒸馏（KD）和强化学习（RL）微调技术的组合来恢复（有时甚至改善）模型在广泛任务上的准确性。知识蒸馏将原始大模型的预测行为转移到压缩后的学生模型，而基于 RL 的优化进一步使模型与下游目标和模型行为对齐。这些“恢复”技术共同使压缩模型能够保持高准确性，同时受益于显著减少的计算和内存需求。

为了进一步提高推理速度，我们使用量化和推测解码。我们分别使用针对 Blackwell 和 Hopper 类 GPU 定制的训练后量化（PTQ）方案，生成面向部署的 NVFP4 和 FP8 检查点。我们还利用了继承自 Nemotron-3-Super 的原生多头预测（MTP）能力。我们证明，原始的共享头 MTP 有效地迁移到了压缩架构上，并通过持续训练来缓解推理时教师强制 MTP 训练与自回归推测解码之间的不匹配，从而进一步提高了其鲁棒性。这些优化共同显著提高了部署效率，同时保持了强大的下游能力。

2.1 Puzzle 阶段

Puzzle (Bercovich et al., 2025 (https://arxiv.org/html/2607.04371#bib.bib7)) 是一个用于 LLM 的分解式 神经架构搜索（NAS）框架。给定一个训练好的“原模型”，Puzzle 搜索一个满足部署效率约束（例如，内存占用、延迟和吞吐量）且保持原模型准确率的派生架构。它通过以下方式实现：(i) 定义替代层实现的离散搜索空间（或“拼图块”），(ii) 估计并为每个替代块分配一个质量分数（基于其效率/准确率概况），以及 (iii) 解决一个 混合整数规划（MIP）问题，在目标约束下为每层选择一个替代块。我们使用 Puzzletron (NVIDIA, 2025b (https://arxiv.org/html/2607.04371#bib.bib38)) 实现来执行这些步骤。

搜索空间。Nemotron-3-Super 由 Mamba、注意力（Attention）和混合专家（MoE）层组成。我们将搜索重点放在 MoE 层的不同剪枝策略上，使用 Puzzle 构建一个异构架构，根据每个 MoE 层对模型准确率的预估影响为其分配不同的容量，同时满足我们的整体运行时目标。由于推理框架的限制，我们对 Mamba 层在整个模型中进行均匀剪枝，并保持注意力层不变，因为 Nemotron-3-Super 已经具有很高的 KV 缓存效率。开发过程中探索但未包含在最终模型中的其他搜索空间组件在附录中描述。

2.1.1 剪枝技术

我们为 MoE 和 Mamba 层考虑了多种剪枝策略。

中间通道剪枝：我们根据每个路由专家内中间通道对专家输出的贡献对其进行排序，遵循 Puzzle (Bercovich et al., 2025 (https://arxiv.org/html/2607.04371#bib.bib7)) 中用于密集 FFN 剪枝的相同标准。在每个 MoE 层内，所有路由专家被剪枝到统一大小，以保持与标准推理内核的兼容性，同时允许不同层具有不同的中间维度。这种剪枝形式减少了活跃参数和总参数数量，从而在所有部署环境中提高了内存效率和运行时性能。

Top-k 减少：在每个 MoE 层中，token 被路由到 k 个选定的专家以计算下一个隐藏状态。我们允许 k 在不同层之间变化，最大为原模型中的原始值 k=2。减少 k 会降低每个 token 的活跃参数数量，从而在计算密集型场景（如预填充和大批次解码）中提高效率。

Mamba SSM 剪枝：在文本生成的解码阶段，缓存 IO 是 Mamba 层运行时的主要部分——对于 Nemotron-3-Super，在批次大小 64 及以上时，缓存 IO 占据 Mamba 层解码时间的大部分。

在这项工作中，我们将 Nemotron-3-Super 的 SSM 状态大小从 128 通道剪枝到 96 通道，导致在批次大小 8 到 512 的解码阶段，SSM 内核速度提升约 1.2 倍至 1.3 倍。

我们通过估计每个 SSM 通道对 Mamba 层输出的贡献来选择剪枝哪些通道——详细公式和结果见附录 A (https://arxiv.org/html/2607.04371#A1)。

2.1.2 迭代 Puzzle

原始的 Puzzle 公式通过假设块替换的质量影响近似可加，从而使架构搜索变得可行。特别是，每个候选块替换通过将候选块替换到原模型中并评估其对输出的影响