NVIDIA/Model-Optimizer 来源：https://github.com/NVIDIA/Model-Optimizer 横幅图像 # NVIDIA Model Optimizer 文档 (https://nvidia.github.io/Model-Optimizer) 版本 (https://pypi.org/project/nvidia-modelopt/) 许可证 文档 (https://nvidia.github.io/Model-Optimizer) | 路线图 (https://github.com/NVIDIA/Model-Optimizer/issues/1699) | 公告博客 (https://nvidia.github.io/Model-Optimizer/#announcements) ______________________________________________________________________ NVIDIA Model Optimizer（简称 Model Optimizer 或 ModelOpt）是一个包含尖端模型优化技术的库，包括量化、剪枝、神经架构搜索 (NAS)、蒸馏、推测解码和稀疏性，以加速模型。[输入] Model Optimizer 当前支持来自 Hugging Face (https://huggingface.co/)、PyTorch (https://github.com/pytorch/pytorch) 或 ONNX (https://github.com/onnx/onnx) 模型的输入。[优化] Model Optimizer 提供 Python API，让用户轻松组合上述模型优化技术并导出优化的量化检查点。Model Optimizer 还与 NVIDIA Megatron-Bridge (https://github.com/NVIDIA-NeMo/Megatron-Bridge)、Megatron-LM (https://github.com/NVIDIA/Megatron-LM) 和 Hugging Face Accelerate (https://github.com/huggingface/accelerate) 集成，用于训练所需的推理优化技术。[导出部署] 与 NVIDIA AI 软件生态系统无缝集成，从 Model Optimizer 生成的量化检查点已准备好在 SGLang (https://github.com/sgl-project/sglang)、TensorRT-LLM (https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/quantization)、TensorRT (https://github.com/NVIDIA/TensorRT) 或 vLLM (https://github.com/vllm-project/vllm) 等下游推理框架中部署。统一的 Hugging Face 导出 API 现在同时支持 transformers 和 diffusers 模型。

最新消息

• [2026/09/16] Qwen3.6-35B-A3B 端到端 W4A4 NVFP4 + QAD 教程：NVFP4 W4A4 PTQ 加上量化感知蒸馏，相比 BF16 实现高达 1.30 倍的 vLLM 吞吐量，同时恢复精度 W4A4 损失，检查点大小减小 3.1 倍。
• [2026/09/09] 博客：使用局部 Hessian 权重缩放改进 NVFP4 精度 (https://nvidia.github.io/Model-Optimizer/announcements/local-hessian.html)
• [2026/08/24] 博客：AutoQuantize：快速自动混合精度分配 (https://nvidia.github.io/Model-Optimizer/announcements/autoquantize.html)
• [2026/08/17] 博客：使用 NVIDIA Model Optimizer 开发具有 QAD 的 Nemotron 3.5 Lightning NVFP4 (https://developer.nvidia.com/blog/developing-nemotron-3-5-lightning-nvfp4-with-qad-using-nvidia-model-optimizer/)：了解量化感知蒸馏如何从激进的 NVFP4 量化中恢复精度，同时减小模型大小并提高吞吐量。
• [2026/06/26] 博客：使用 NVIDIA Model Optimizer 创建 NVIDIA Nemotron 3 Ultra NVFP4 检查点 (https://developer.nvidia.com/blog/creating-the-nvidia-nemotron-3-ultra-nvfp4-checkpoint-with-nvidia-model-optimizer/)：我们如何使用 Model Optimizer 将 Nemotron 3 Ultra (550B) 量化为 NVFP4 —— 相比 GLM-5.1 754B FP4，解码密集型推理吞吐量提高高达 5.9 倍，同时匹配 BF16 精度。Hugging Face 上的 NVFP4 检查点 (https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4)。
• [2026/05/27] Nemotron-3-Nano-30B-A3B 端到端优化教程：剪枝 + 两阶段蒸馏 + FP8 量化，实现 2.6 倍 vLLM 吞吐量和 2.6 倍内存减少。
• [2026/05/13] Puzzletron：用于 LLM 和 VLM 模型异构剪枝和 NAS 的新算法。
• [2026/04/15] 客户案例：Domyn 使用 ModelOpt 的 Minitron 剪枝 + 蒸馏将 Colosseum-355B 压缩至 260B (https://www.domyn.com/blog/domyn-large-the-journey-of-a-european-sovereign-ai-model-for-regulated-industries)
• [2026/03/17] 客户案例：Bielik.AI 使用 ModelOpt 的 Minitron 剪枝 + 蒸馏构建 Bielik Minitron 7B（缩小 33%，速度提升 50%，保留 90% 质量）(https://bielik.ai/en/nvidia-gtc-bielik-minitron-premiere/)
• [2026/03/11] Model Optimizer 量化的 Nemotron-3-Super 检查点现已在 Hugging Face 上可供下载：FP8 (https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-FP8)、NVFP4 (https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4)。在 Nemotron 3 Super 发布博客 (https://blogs.nvidia.com/blog/nemotron-3-super-agentic-ai/) 中了解更多。在此查看如何量化 Nemotron 3 模型以加速部署 此处
• [2026/03/11] NeMo Megatron Bridge (https://github.com/NVIDIA-NeMo/Megatron-Bridge) 现在支持使用 Model Optimizer 库进行 Nemotron-3-Super 量化 (PTQ 和 QAT) 和导出工作流程。请参阅量化 (PTQ 和 QAT) 指南 (https://github.com/NVIDIA-NeMo/Megatron-Bridge/blob/super-v3/docs/models/llm/nemotron3-super.md#quantization-ptq-and-qat) 了解 FP8/NVFP4 量化和 HF 导出说明。
• [2025/12/11] 博客：5 大 AI 模型优化技术，实现更快、更智能的推理 (https://developer.nvidia.com/blog/top-5-ai-model-optimization-techniques-for-faster-smarter-inference/)
• [2025/12/08] NVIDIA TensorRT Model Optimizer 现已正式更名为 NVIDIA Model Optimizer。
• [2025/10/07] 博客：使用 NVIDIA Model Optimizer 剪枝和蒸馏 LLM (https://developer.nvidia.com/blog/pruning-and-distilling-llms-using-nvidia-tensorrt-model-optimizer/)
• [2025/09/17] 博客：推测解码介绍：降低 AI 推理延迟 (https://developer.nvidia.com/blog/an-introduction-to-speculative-decoding-for-reducing-latency-in-ai-inference/)
• [2025/09/11] 博客：量化感知训练如何实现低精度精度恢复 (https://developer.nvidia.com/blog/how-quantization-aware-training-enables-low-precision-accuracy-recovery/)
• [2025/08/29] 博客：使用量化感知训练微调 gpt-oss 以提高精度和性能 (https://developer.nvidia.com/blog/fine-tuning-gpt-oss-for-accuracy-and-performance-with-quantization-aware-training/)
• [2025/08/01] 博客：使用训练后量化优化 LLM 以实现性能和精度 (https://developer.nvidia.com/blog/optimizing-llms-for-performance-and-accuracy-with-post-training-quantization/)
• [2025/06/24] 博客：介绍 NVFP4：高效准确的低精度推理 (https://developer.nvidia.com/blog/introducing-nvfp4-for-efficient-and-accurate-low-precision-inference/)
• [2025/05/14] NVIDIA TensorRT 为 NVIDIA Blackwell GeForce RTX 50 系列 GPU 解锁 FP4 图像生成 (https://developer.nvidia.com/blog/nvidia-tensorrt-unlocks-fp4-image-generation-for-nvidia-blackwell-geforce-rtx-50-series-gpus/)
• [2025/04/21] Adobe 使用 Model-Optimizer + TensorRT 优化部署，扩散延迟减少 60%，总拥有成本减少 40% (https://developer.nvidia.com/blog/optimizing-transformer-based-diffusion-models-for-video-generation-with-nvidia-tensorrt/)
• [2025/04/05] NVIDIA 加速 Meta Llama 4 Scout 和 Maverick 的推理 (https://developer.nvidia.com/blog/nvidia-accelerates-inference-on-meta-llama-4-scout-and-maverick/)。在此查看如何量化 Llama4 以加速部署 此处
• [2025/03/18] 世界最快 DeepSeek-R1 推理：Blackwell FP4，以及提高 Blackwell 上的图像生成效率 (https://developer.nvidia.com/blog/nvidia-blackwell-delivers-world-record-deepseek-r1-inference-performance/)
• [2025/02/25] Model Optimizer 量化的 NVFP4 模型现已在 Hugging Face 上可供下载：DeepSeek-R1-FP4 (https://huggingface.co/nvidia/DeepSeek-R1-FP4)、Llama-3.3-70B-Instruct-FP4 (https://huggingface.co/nvidia/Llama-3.3-70B-Instruct-FP4)、Llama-3.1-405B-Instruct-FP4 (https://huggingface.co/nvidia/Llama-3.1-405B-Instruct-FP4)
• [2025/01/28] Model Optimizer 已添加对 NVFP4 的支持。在此查看 NVFP4 PTQ 示例 此处。
• [2025/01/28] Model Optimizer 现已开源！

以往新闻

• [2024/10/23] Model Optimizer 量化的 FP8 Llama-3.1 Instruct 模型现已在 Hugging Face 上可供下载：8B (https://huggingface.co/nvidia/Llama-3.1-8B-Instruct-FP8)、70B (https://huggingface.co/nvidia/Llama-3.1-70B-Instruct-FP8)、405B (https://huggingface.co/nvidia/Llama-3.1-405B-Instruct-FP8)。
• [2024/09/10] 使用 NVIDIA NeMo 和 Model Optimizer 对 LLM 进行训练后量化 (https://developer.nvidia.com/blog/post-training-quantization-of-llms-with-nvidia-nemo-and-nvidia-tensorrt-model-optimizer/)。
• [2024/08/28] 使用 Model Optimizer 在 NVIDIA H200 GPU 上将 Llama 3.1 405B 性能提升高达 44% (https://developer.nvidia.com/blog/boosting-llama-3-1-405b-performance-by-up-to-44-with-nvidia-tensorrt-model-optimizer-on-nvidia-h200-gpus/)
• [2024/08/28] 使用 Medusa 将 Llama 3.1 性能提高高达 1.9 倍 (https://developer.nvidia.com/blog/low-latency-inference-chapter-1-up-to-1-9x-higher-llama-3-1-performance-with-medusa-on-nvidia-hgx-h200-with-nvlink-switch/)
• [2024/08/15] 近期版本中的新功能：缓存扩散、使用 NVIDIA NeMo 的 QLoRA 工作流程 (https://docs.nvidia.com/nemo-framework/user-guide/24.09/sft_peft/qlora.html) 等。详情请查看我们的博客 (https://developer.nvidia.com/blog/nvidia-tensorrt-model-optimizer-v0-15-boosts-inference-performance-and-expands-model-support/)。
• [2024/06/03] Model Optimizer 现在提供实验性功能，可将模型部署到 vLLM，这是我们支持流行部署框架努力的一部分。在此查看工作流程 此处
• [2024/05/08] 公告：Model Optimizer 正式推出，进一步加速 GenAI 推理性能 (https://developer.nvidia.com/blog/accelerate-generative-ai-inference-performance-with-nvidia-tensorrt-model-optimizer-now-publicly-available/)
• [2024/03/27] Model Optimizer 为 TensorRT-LLM 助力，创下 MLPerf LLM 推理记录 (https://developer.nvidia.com/blog/nvidia-h200-tensor-core-gpus-and-nvidia-tensorrt-llm-set-mlperf-llm-inference-records/)
• [2024/03/18] GTC 会议：在 TensorRT-LLM 和 TensorRT 中使用量化优化生成式 AI 推理 (https://www.nvidia.com/en-us/on-demand/session/gtc24-s63213/)
• [2024/03/07] Model Optimizer 的 8 位训练后量化使 TensorRT 加速 Stable Diffusion 速度提高近 2 倍 (https://developer.nvidia.com/blog/tensorrt-accelerates-stable-diffusion-nearly-2x-faster-with-8-bit-post-training-quantization/)
• [2024/02/01] 使用 TRT-LLM 中的 Model Optimizer 量化技术加速推理 (https://github.com/NVIDIA/TensorRT-LLM/blob/main/docs/source/blogs/quantization-in-TRT-LLM.md)

安装

要使用 pip 从 PyPI (https://pypi.org/project/nvidia-modelopt/) 安装 Model Optimizer 的稳定发行包： ``bash pip install -U nvidia-modelopt[all]

Model Optimizer 将下载并安装其他第三方开源软件项目。使用前请查看这些开源项目的许可条款。

要从源代码以可编辑模式安装所有开发依赖项或使用最新功能，请运行：
``bash
# 克隆 Model Optimizer 仓库
git clone [email protected]:NVIDIA/Model-Optimizer.git
cd Model-Optimizer
pip install -e .[dev]

您也可以直接使用 NVIDIA 容器镜像，其中预装了 Model Optimizer：

• nvcr.io/nvidia/pytorch:-py3
• nvcr.io/nvidia/nemo:
• nvcr.io/nvidia/tensorrt-llm/release:

拉取和使用容器镜像之前，请查看其各自的许可条款。确保按上述说明将 Model Optimizer 升级到最新版本。访问我们的安装指南 (https://nvidia.github.io/Model-Optimizer/getting_started/2_installation.html) 以获得更细粒度的依赖项控制，或设置替代 docker 镜像和环境变量。

技术

预量化检查点

• 即用型部署检查点 [🤗 Hugging Face - Nvidia Model Optimizer 合集 (https://huggingface.co/collections/nvidia/inference-optimized-checkpoints-with-model-optimizer)]
• 可在 TensorRT-LLM (https://github.com/NVIDIA/TensorRT-LLM)、vLLM (https://github.com/vllm-project/vllm) 和 SGLang (https://github.com/sgl-project/sglang) 上部署
• 更多模型即将推出！

资源

• 📅 路线图 (https://github.com/NVIDIA/Model-Optimizer/issues/1699)
• 📖 文档 (https://nvidia.github.io/Model-Optimizer)
• 🎯 基准测试
• 💡 发行说明 (https://nvidia.github.io/Model-Optimizer/reference/0_changelog.html)
• 🐛 提交错误 (https://github.com/NVIDIA/Model-Optimizer/issues/new?template=1_bug_report.md)
• ✨ 提交功能请求 (https://github.com/NVIDIA/Model-Optimizer/issues/new?template=2_feature_request.md)

模型支持矩阵