EmbeddingGemma 2：一款开源、轻量级的多模态嵌入模型

# EmbeddingGemma 2：一个开源、轻量级的多模态嵌入模型 来源：https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content= EmbeddingGemma 2 是目前最强大的设备端多模态嵌入模型，可将文本、图像、音频和视频的组合原生映射到统一的嵌入空间中。 --- Henrique Schechter Vera 研究工程师，Google DeepMind --- EmbeddingGemma 2 您的浏览器不支持音频元素。 收听文章 \[\[duration\]\] 分钟 本内容由 Google AI 生成。生成式 AI 属于实验性功能。 去年，我们推出了 [EmbeddingGemma](https://developers.googleblog.com/en/introducing-embeddinggemma/)，旨在为高质量文本嵌入提供轻量级方案，帮助您的应用直接在消费级硬件上组织、搜索和关联信息。开发者社区的反响远超我们的预期——下载量已超过 2000 万次，开发者们用它打造了更智能的设备端搜索工具和以隐私为先的检索增强生成（RAG）流水线。 今天，我们正式发布 EmbeddingGemma 2，将支持范围从文本扩展到代码、图像、视频和音频，并将它们统一到共享的嵌入空间中。EmbeddingGemma 2 基于 Gemma 4 架构构建，采用宽松商用许可的 Apache 2.0 协议发布，拥有 7.4 亿参数，是设备端推理的理想选择。它可以从语音备忘录中定位某段特定的视频片段，或根据文本查询检索数小时的音频录音——所有这些都由单个原生多模态模型完成。 EmbeddingGemma 2 与 Gemini Embedding 系列模型采用相同的技术构建，具备以下特点： - **同级别中的顶尖水平：** 在 MTEB（大规模文本嵌入基准测试）Code 和 MAEB（大规模音频嵌入基准测试）等基准测试中，在同规模（10 亿参数以下）的多模态嵌入模型中取得领先分数，在文本、视觉和音频任务上与许多更大的模型持平甚至超越。 - **模块化设计：** 纯文本负载仅需 2.7 亿参数即可运行，可选配视觉编码器（1.7 亿）和音频编码器（3 亿）以获得完整的多模态支持。 - **存储高效：** 借助 Matryoshka 表示学习（MRL），开发者可以将输出向量从 768 维动态截断至 512、256 或 128 维，为本地向量数据库和内存占用提供高达 6 倍的存储缩减。 - **为设备端性能优化：** 可在严格的资源约束下高效运行。经过量化后，在 Google Pixel 11 Pro 上，EmbeddingGemma 2 的纯文本权重仅需约 191MB 活跃内存，完整多模态模型约需 567MB。 - **支持扩展上下文：** 具备 8K token 上下文窗口（是 EmbeddingGemma 1 的 4 倍），可直接在本地硬件上处理长达 5.5 分钟的音频、29 张图片、58 帧视频，或其交错组合。 ## 为代码、视觉和音频实现出色的质量 EmbeddingGemma 2 在保持 EmbeddingGemma 强大的多语言文本性能的同时，在代码性能上实现了 9.92 分的显著提升（MTEB Code 从 68.76 提升至 78.68），使其非常适合本地代码库索引、语义代码搜索和编码智能体检索场景。在图像、视频、文档和音频方面，它为 10 亿参数以下的模型设定了单位参数质量的新标杆，甚至在部分任务上超越了规模两倍以上的专用模型。 大规模文本嵌入基准测试（Code） 大规模图像嵌入基准测试（Lite） 大规模音频嵌入基准测试 完整评估指标和模型信息请参阅 [EmbeddingGemma 2 模型卡](https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2)。 ## 完全在设备端实现语义搜索、路由和检索 EmbeddingGemma 2 将强大的能力直接带到了边缘硬件上。在本地生成嵌入有助于保障数据隐私、降低流水线延迟，并让开发者能够构建完全离线运行的跨模态搜索和检索系统。 当与 Gemma 4 等生成式模型配合使用时，EmbeddingGemma 2 可以在设备端运行理解复杂多模态数据的 RAG 流水线。由于 EmbeddingGemma 2 基于 Gemma 4 构建，并共享其文本分词器和音频编码器，开发者可以在统一的流水线中同时运行这两个模型，且组合内存占用更低。 想了解如何使用 LiteRT 构建设备端搜索和 RAG 系统，请阅读 [Google AI Edge 博客文章](http://developers.googleblog.com/google-ai-edge-with-embeddinggemma-2)。 ## 开始使用 EmbeddingGemma 2 我们与以下合作伙伴密切协作，确保 EmbeddingGemma 2 在您开发所需的地方立即可用： - **下载模型：** 在 [Hugging Face](https://huggingface.co/google/embeddinggemma-2) 和 [Kaggle](https://www.kaggle.com/models/google/embeddinggemma-2) 上获取模型权重，Gemini Enterprise Agent Platform Model Garden 的支持即将推出。访问 [Hugging Face 上的 LiteRT Community](https://huggingface.co/litert-community) 获取针对设备端优化的模型。 - **设备端部署：** 使用 Google AI Edge [MediaPipe](https://developers.google.com/edge/mediapipe/solutions/decision/decision_maker) 开发跨平台应用，实现开箱即用的嵌入、检索和决策任务；或使用 [LiteRT](https://developers.google.com/edge/litert-lm) 进行自定义模型集成。使用 transformers.js 或 [WebGPU](https://huggingface.co/spaces/webml-community/embeddinggemma-2-webgpu) 为浏览器构建应用。 - **使用您喜欢的开发工具**：使用 transformers、sentence-transformers、[MLX](https://github.com/Blaizzy/mlx-vlm)、vLLM、[llama.cpp](https://huggingface.co/ggml-org/embeddinggemma-2-GGUF)、SGLang、[Ollama](http://ollama.com/library/embeddinggemma-2) 和 LMStudio 高效部署模型。使用 [Qdrant](https://qdrant.tech/blog/embeddinggemma-2/) 存储您的嵌入向量。 - **微调：** 参考 [Unsloth](https://unsloth.ai/docs/models/embeddinggemma-2) 的指南，了解如何针对您的具体用例微调 EmbeddingGemma 2。 探索我们的 [开发者指南](https://developers.googleblog.com/en/embeddinggemma-2-the-developer-guide/)、[文档](https://ai.google.dev/gemma/docs/embeddinggemma)，以及 [推理指南](https://ai.google.dev/gemma/docs/embeddinggemma/inference-embeddinggemma-with-sentence-transformers)和[微调指南](https://ai.google.dev/gemma/docs/embeddinggemma/fine-tuning-embeddinggemma-with-sentence-transformers)。