NVIDIA Puzzle-75B-A9B 在3×3090上使用NVFP4达到132 t/s——为何这个尺寸类别在其他方面是一片荒漠？

Reddit r/LocalLLaMA 模型
model-performance quantization nvidia gpu inference-speed open-source

摘要

NVIDIA的Puzzle-75B-A9B模型在三块RTX 3090 GPU上使用NVFP4量化达到每秒132个token，引发了对该模型尺寸类别缺乏竞争的讨论。

暂无内容
查看原文

相似文章

nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 · Hugging Face

Reddit r/LocalLLaMA

NVIDIA 发布了 Nemotron-Labs-3-Puzzle-75B-A9B，这是一种从 Nemotron-3-Super 衍生而来的压缩混合 MoE 大型语言模型，实现了约 2 倍更高的服务器吞吐量和更高的并发性，同时在推理、编码和长上下文基准测试中保持强劲的准确度。