quantized-inference

蚂蚁集团与 vLLM 社区宣布开源 Humming，这是一个面向量化推理的通用高性能 Kernel 库，支持广泛的 GPU 覆盖和多种量化格式，性能超越 Marlin、FlashInfer 和 DeepGEMM 等现有实现。

本文提供了一份全面的指南，针对2026年本地AI硬件上的大语言模型推理引擎，解释了如何根据硬件策略、工作负载和服务模型进行选择，并涵盖了诸如llama.cpp、MLX、ExLlamaV2/3、vLLM、SGLang、TensorRT-LLM和NVIDIA Dynamo等引擎。