介绍 Gemma 3 270M：超高效 AI 的紧凑型模型

# 推出 Gemma 3 270M：超高效 AI 的紧凑模型 来源：https://developers.googleblog.com/en/introducing-gemma-3-270m/ 过去几个月对 Gemma 开源模型家族来说是令人兴奋的时期。我们推出了 [Gemma 3](https://blog.google/technology/developers/gemma-3/) 和 [Gemma 3 QAT](https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/)，为单个云端和桌面加速器提供了最先进的性能。随后，我们宣布了 [Gemma 3n](https://developers.googleblog.com/en/introducing-gemma-3n/) 的完整发布，这是一款移动优先的架构，能够直接将强大的实时多模态 AI 功能带到边缘设备。我们的目标一直是为开发者提供有用的 AI 工具，我们对充满活力的 [Gemmaverse](https://deepmind.google/models/gemma/gemmaverse/) 社区感到惊喜不已——上周下载量突破了 2 亿次。 今天，我们为 Gemma 3 工具包添加了一个新的、高度专业化的工具：[Gemma 3 270M](https://ai.google.dev/gemma/docs/core/huggingface_text_full_finetune)，这是一个紧凑的 2.7 亿参数模型，专为任务特定的微调而设计，已内置强大的指令遵循和文本结构化能力。 ## Gemma 3 270M 的核心能力 - **紧凑而强大的架构：** 我们的新模型总共拥有 2.7 亿个参数：其中 1.7 亿用于嵌入参数（由于词汇表较大）以及 1 亿用于 transformer 块。凭借 256k 令牌的大词汇表，该模型可以处理特定和稀有令牌，使其成为针对特定领域和语言进行微调的强大基础模型。 - **极低的能耗：** Gemma 3 270M 的一个关键优势是功耗极低。在 Pixel 9 Pro SoC 上的内部测试显示，INT4 量化模型在进行 25 次对话时仅消耗 0.75% 的电池电量，这是我们最节能的 Gemma 模型。 - **指令遵循能力：** 发布的指令调整模型随附一个预训练检查点。虽然该模型不是为复杂的对话用例设计的，但它是一个强大的模型，开箱即用就能很好地遵循通用指令。 - **生产就绪的量化：** [量化感知训练（QAT）](https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/) [检查点可用](https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d)，使您能够以 INT4 精度运行模型，性能衰减最小，这对于在资源受限的设备上部署至关重要。 在工程中，成功的衡量标准是效率，而非单纯的原始性能。你不会用大锤子来挂一幅画框。构建 AI 解决方案也遵循同样的原则。 Gemma 3 270M 体现了"为合适的工作选择合适的工具"的理念。它是一个高质量的基础模型，开箱即用就能很好地遵循指令，其真正的力量通过微调而释放。一旦特化，它可以以非凡的准确性、速度和成本效益执行文本分类和数据提取等任务。通过从紧凑、强大的模型开始，你可以构建瘦小、快速且运营成本低廉的生产系统。 ## 现实世界的成功蓝图 这种方法的威力已经在现实世界中取得了令人难以置信的成果。一个完美的例子是 [Adaptive ML 与 SK Telecom 的合作](https://deepmind.google/models/gemma/gemmaverse/adaptiveml/)。面临着细微的多语言内容审核挑战，他们选择了专业化方向。Adaptive ML 没有使用庞大的通用模型，而是对 Gemma 3 4B 模型进行了微调。结果令人瞩目：这个专业化的 Gemma 模型不仅达到了，而且超过了同类更大的专有模型在其特定任务上的性能。 Gemma 3 270M 让开发者能够进一步采用这种方法，为定义良好的任务解锁更高的效率。它是创建小型专业化模型组合的完美起点，每个模型都是其自身任务的专家。 但专业化的力量不仅仅限于企业任务；它还能启用强大的创意应用。例如，请查看这个 [睡前故事生成器网络应用](https://huggingface.co/spaces/webml-community/bedtime-story-generator)： Gemma 3 270M 用于支持使用 Transformers.js 的睡前故事生成器网络应用。该模型的大小和性能使其适合离线、基于网络的创意任务。（鸣谢：来自 Hugging Face 团队的 Joshua (@xenovacom on X)） ## 何时选择 Gemma 3 270M Gemma 3 270M 继承了 Gemma 3 集合的先进架构和强大预训练，为您的自定义应用提供了坚实的基础。 以下是它的完美使用场景： - **您有高容量、定义明确的任务。** 非常适合情感分析、实体提取、查询路由、非结构化到结构化文本处理、创意写作和合规检查等功能。 - **您需要让每一毫秒和每一分钱都发挥价值。** 大幅降低或消除生产环境中的推理成本，为用户提供更快的响应。微调后的 270M 模型可以在轻量级、廉价的基础设施上运行，或直接在设备上运行。 - **您需要快速迭代和部署。** Gemma 3 270M 的小尺寸允许进行快速的微调实验，帮助您在几小时而非几天内找到适合您用例的完美配置。 - **您需要确保用户隐私。** 因为该模型可以完全在设备上运行，您可以构建处理敏感信息而无需将数据发送到云端的应用。 - **您想要一组专业化的任务模型。** 构建和部署多个自定义模型，每个都专门针对不同任务进行训练，而不会超出预算。 ## 开始微调 我们希望尽可能轻松地将 Gemma 3 270M 转变为您自己的自定义解决方案。它基于与其余 Gemma 3 模型相同的架构，并提供配方和工具帮助您快速入门。您可以在 Gemma 文档中找到使用 Gemma 3 270M 的 [完整微调指南](https://ai.google.dev/gemma/docs/core/huggingface_text_full_finetune)。 - **下载模型：** 从 [Hugging Face](https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d)、[Ollama](https://ollama.com/library/gemma3)、[Kaggle](https://www.kaggle.com/models/google/gemma-3)、[LM Studio](https://lmstudio.ai/models/google/gemma-3-270m) 或 [Docker](https://hub.docker.com/r/ai/gemma3) 获取 Gemma 3 270M 模型。我们发布预训练和指令调整两种模型。 - **尝试模型：** 在 [Vertex AI](https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/gemma3) 上或使用流行的推理工具如 [llama.cpp](https://huggingface.co/collections/ggml-org/gemma-3-270m-689e0105d56462786413d7fc)、[Gemma.cpp](https://www.kaggle.com/models/google/gemma-3/gemmaCpp)、[LiteRT](https://huggingface.co/litert-community/gemma-3-270m-it)、[Keras](https://www.kaggle.com/models/keras/gemma3) 和 [MLX](https://huggingface.co/collections/mlx-community/gemma-3-270m-689e1de307ccaeec5ba22ec9) 尝试模型。 - **开始微调：** 使用您喜欢的工具，包括 [Hugging Face](http://ai.google.dev/gemma/docs/core/huggingface_text_full_finetune)、[UnSloth](https://docs.unsloth.ai/basics/gemma-3-how-to-run-and-fine-tune) 和 [JAX](https://gemma-llm.readthedocs.io/en/latest/colab_finetuning.html)。 - **部署您的解决方案：** 微调后，您可以在任何地方部署您的专业化模型，从 [本地环境](http://localhost:8080/) 到 [Google Cloud Run](https://cloud.google.com/run/docs/run-gemma-on-cloud-run)。 Gemmaverse 建立在创新以各种规模存在的理念基础上。通过 Gemma 3 270M，我们正在赋能开发者构建更聪明、更快速、更高效的 AI 解决方案。我们迫不及待地想看到您创建的专业化模型。