Unsloth Gemma 4 QAT MTP 辅助模型现已可用
摘要
Unsloth 发布了 Gemma 4 QAT MTP 辅助模型，以 GGUF 文件形式在 Hugging Face 上提供，支持 q8_0 及更大量化格式。
这些模型均以 q8_0 模型形式提供，文件名为 `mtp-gemma-4-*.gguf`，位于目录根目录；同时在 `MTP` 文件夹中以 q8_0 及更大量化规格提供。 - https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF/tree/main - https://huggingface.co/unsloth/gemma-4-26B-A4B-it-qat-GGUF/tree/main - https://huggingface.co/unsloth/gemma-4-31B-it-qat-GGUF/tree/main - https://huggingface.co/unsloth/gemma-4-E2B-it-qat-GGUF/tree/main - https://huggingface.co/unsloth/gemma-4-E2B-it-qat-mobile-GGUF/tree/main - https://huggingface.co/unsloth/gemma-4-E4B-it-qat-GGUF/tree/main - https://huggingface.co/unsloth/gemma-4-E4B-it-qat-mobile-GGUF/tree/main
相似文章
unsloth/gemma-4-12B-it-qat-GGUF
Unsloth 发布了Google DeepMind的Gemma 4模型的GGUF量化版本，通过量化感知训练（QAT）优化，在保持质量的同时降低内存需求，支持多种格式和大小，适用于不同的部署场景。
Unsloth 刚刚为 Gemma 4 发布了 MTP GGUF 权重！
Unsloth 已为 Gemma 4 模型（31B、26B-A4B、12B）发布了多 Token 预测 (MTP) GGUF 权重，提供 Q8、F16 和 BF16 精度，可在 Hugging Face 上获取。
google/gemma-4-12B-it-qat-q4_0-gguf
Google DeepMind 发布了 Gemma 4 模型，这些模型通过量化感知训练（QAT）进行了优化，并提供包括 GGUF 在内的多种格式，在降低内存需求的同时实现了高质量。
Gemma 4 四重发布：12B、12B QAT、26B-A4B QAT 和 31B QAT 无审查异端版
llmfan46 在 Hugging Face 上发布了一组四重未经审查、微调并量化的 Gemma-4 模型，包括 12B、26B-A4B 和 31B 变体，提供 QAT 和 GGUF 格式。
更多QAT内容以及毛茸茸的tick
作者发布了Gemma 4模型（12B和31B）改进后的GGUF量化版本，采用了更精确的量化感知训练过程，相比原版量化实现了更低的KLD和更高的同top百分比。