Unsloth 刚刚为 Gemma 4 发布了 MTP GGUF 权重！

Reddit r/LocalLLaMA 模型
unsloth gemma-4 gguf mtp weights open-source huggingface

摘要

Unsloth 已为 Gemma 4 模型（31B、26B-A4B、12B）发布了多 Token 预测 (MTP) GGUF 权重，提供 Q8、F16 和 BF16 精度，可在 Hugging Face 上获取。

Unsloth 似乎已为 31B、26B-A4B、12B 推出了 MTP GGUF 权重（Q8、F16、BF16）。[https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/tree/main/MTP](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/tree/main/MTP) [https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/tree/main/MTP](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/tree/main/MTP) [https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/tree/main/MTP](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/tree/main/MTP)
查看原文

相似文章

unsloth/gemma-4-12B-it-qat-GGUF

Hugging Face Models Trending

Unsloth 发布了Google DeepMind的Gemma 4模型的GGUF量化版本，通过量化感知训练（QAT）优化，在保持质量的同时降低内存需求，支持多种格式和大小，适用于不同的部署场景。

unsloth/gemma-4-26B-A4B-it-GGUF

Hugging Face Models Trending

# unsloth/gemma-4-26B-A4B-it-GGUF · Hugging Face 来源：[https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF) ## [https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF#read-our-how-to-run-gemma-4-guide](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF#read-our-how-to-run-gemma-4-guide)阅读我们的[如何运行 Gemma 4 指南](https://docs.unsloth.ai/models/gemma-4)！ *请参阅[Unsloth Dynamic 2.0 GGUFs](https://unsloth.ai/docs/basics/unslot

unsloth/Qwen3.6-27B-MTP-GGUF

Hugging Face Models Trending

Unsloth 发布了 Qwen3.6-27B 模型的 GGUF 权重，该模型支持多令牌预测（MTP），可实现更快的生成速度并增强了智能体（Agentic）编码能力。

google/gemma-4-12B-it-qat-q4_0-gguf

Hugging Face Models Trending

Google DeepMind 发布了 Gemma 4 模型，这些模型通过量化感知训练（QAT）进行了优化，并提供包括 GGUF 在内的多种格式，在降低内存需求的同时实现了高质量。