标签
Hugging Face 宣布在 transformers 库中原生支持 GGUF 文件，使得量化模型能更轻松地与 PyTorch 工具结合使用，性能与 llama.cpp 相当。
Hugging Face 的 Transformers 库现在支持来自 llama.cpp 的 GGUF 模型，通过熟悉的 API 实现消费级硬件上的高效本地推理。