标签
这篇博文提供了在双GH200工作站上使用vLLM对DeepSeek V4 Flash进行推理，达到近200令牌/秒的技巧和基准测试，重点介绍了使用Canada-Quant的量化检查点和张量并行优化。