Google 的量化感知训练 Gemma 检查点已在 HuggingFace 上发布，支持移动设备推理

Reddit r/singularity 模型
quantization mobile gemma checkpoint inference google huggingface

摘要

Google 在 HuggingFace 上发布了经过量化感知训练的 Gemma 4 检查点，针对移动设备推理进行了优化，并提供 QAT Mobile 和 Q4_0 两种变体。

发布博客文章：[Gemma 4 with quantization-aware training](https://blog.google/innovation-and-ai/technology/developers-tools/quantization-aware-training-gemma-4/) HuggingFace for mobile: [Gemma 4 QAT Mobile - a google Collection](https://huggingface.co/collections/google/gemma-4-qat-mobile) HuggingFace for Q4_0: [Gemma 4 QAT Q4_0 - a google Collection](https://huggingface.co/collections/google/gemma-4-qat-q4-0)
查看原文

相似文章

google/gemma-4-12B-it-qat-q4_0-gguf

Hugging Face Models Trending

Google DeepMind 发布了 Gemma 4 模型，这些模型通过量化感知训练（QAT）进行了优化，并提供包括 GGUF 在内的多种格式，在降低内存需求的同时实现了高质量。