nvidia-4080

作者演示了如何在4080 GPU和64GB DDR5上运行182B的Qwen模型，通过将ngrams转移到SSD，实现了比27B模型更快、更智能的性能，使大型模型推理在消费级硬件上变得可行。