exllamav2

Ahmad (@TheAhmadOsman) 宣布了一篇博客文章，涵盖 llama.cpp、vLLM 和 ExLlamaV2 等推理引擎，重点关注多 GPU 设置、张量并行以及批处理推理，以优化 AI 模型性能。