nvidia-model-optimizer

NVIDIA展示了如何使用NVIDIA模型优化器进行量化感知蒸馏（QAD）来改进Nemotron 3.5 Lightning模型，在保持代理基准准确性的同时减少内存使用并提高吞吐量。

这篇来自NVIDIA的文章介绍了如何使用NVIDIA Model Optimizer库，通过训练后量化方法将CLIP模型量化为FP8格式，从而减少VRAM使用并提升在消费级GPU上的推理性能。