@FeitengLi：整理了一份 #EmbeddingGemma2 开源资源清单：• DigUp：搜索文档、图片、音频和视频……

X AI KOLs Timeline 工具
embeddings multimodal-search awesome-list open-source gemma resource-roundup

摘要

Feiteng Li 分享了一份针对 EmbeddingGemma2 的开源资源清单，涵盖 DigUp、Recall 等本地多模态搜索应用、决策模型微调方案，以及 llama.cpp、MLX、LiteRT、Transformers.js 等多端部署路径。相关仓库已开源并欢迎社区贡献。

整理了一份针对 #EmbeddingGemma2 的开源资源清单： • DigUp：在 Mac 上使用自然语言搜索文档、图片、音频和视频 • Recall：Linux 本地文件搜索 • 微调决策模型：在文本编码器上添加一个小型决策头，输出选项选择、布尔判断和评分 • llama.cpp、MLX、LiteRT、Transformers.js：不同设备上的部署路径 欢迎贡献 https://github.com/lattifai/awesome-EmbeddingGemma…
查看原文
查看缓存全文

缓存时间: 2026/10/12 13:32

lattifai/awesome-EmbeddingGemma

来源：https://github.com/lattifai/awesome-EmbeddingGemma

Awesome EmbeddingGemma Awesome (https://awesome.re)

使用 Google 的 EmbeddingGemma2 实现本地多模态搜索。

English · 贡献指南

EmbeddingGemma2 将文本、代码、图像、视频和音频映射到一个共享的嵌入空间中。本列表涵盖支持第二代模型的资源（不同于 EmbeddingGemma 300M 和 Gemini Embedding 2）。

最后检查时间：2026-10-12。已审阅来源；未在本地测试运行时。

目录

热门应用

使用 EmbeddingGemma2 构建的应用。Star 数通过 Shields.io 更新，可能存在缓存。

项目Stars用途和支持证据
DigUp (https://github.com/ARahim3/DigUp)Stars跨文档、图像、音频和视频的本地文件搜索；支持 Apple Silicon、macOS 14+（https://github.com/ARahim3/DigUp）。

社区应用

  • Recall (https://github.com/pdstn12/Recall) - 早期阶段的 Linux 文件搜索工具，使用 Rust、GTK 4 和 llama.cpp 构建。

微调与决策模型

  • EG2 Typed Decision (https://huggingface.co/mrm8488/embeddinggemma-2-ft-typed-decision) - 基于 EmbeddingGemma2 文本编码器，添加约 0.5M 参数的头部，输出 choice、noul（布尔值）和 score 决策及概率；包含权重、推理代码和进一步微调示例。
  • Typed Decisions (https://huggingface.co/datasets/LocalLLaMA/typed-decisions) - 上述模型使用的训练和评估数据，涵盖代理检查、支持工单、发票和安全事件；指标衡量与教师标签的一致性。

该模型作者在检查测试集时选择了超参数，因此其微调结果与数据集的零样本排行榜不可直接比较。

从这里开始

  • 官方模型页面 (https://deepmind.google/models/gemma/embeddinggemma/) - DeepMind 的概述和入口。
  • 模型卡 (https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2) - 架构、评测、输入约束和局限性。
  • 原始检查点 (https://huggingface.co/google/embeddinggemma-2) - 模型权重和配置。
  • 开发者指南 (https://developers.googleblog.com/embeddinggemma-2-the-developer-guide/) - 架构、模块化加载和示例。

模型概览

属性详情
输入文本/代码、图像、视频、音频及混合输入
参数量270M 文本；440M 文本 + 视觉；570M 文本 + 音频；740M 完整模型
上下文8,192 个 token，跨模态共享
嵌入维度768（可截断至 512 / 256 / 128）
模型许可证Apache-2.0（请查阅检查点许可证和政策）

来源：模型卡 (https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2)、开发者指南 (https://developers.googleblog.com/embeddinggemma-2-the-developer-guide/)。

指南与示例

  • 使用 Sentence Transformers 进行文本嵌入 (https://ai.google.dev/gemma/docs/embeddinggemma/inference-embeddinggemma-with-sentence-transformers) - 官方文本检索教程。
  • 使用 Sentence Transformers 进行多模态嵌入 (https://ai.google.dev/gemma/docs/embeddinggemma/multimodal-embeddinggemma-with-sentence-transformers) - 媒体和混合输入示例。
  • Transformers 模型文档 (https://huggingface.co/docs/transformers/model_doc/embedding_gemma2) - 更底层的模型和处理器 API。

Sentence Transformers 教程需要 6.1.0+ 版本。

模型与运行时

资源路径备注
Google 检查点 (https://huggingface.co/google/embeddinggemma-2)Sentence Transformers / Transformers参考权重；对较小的工作负载可禁用未使用的编码器。
ONNX Community 转换 (https://huggingface.co/onnx-community/embeddinggemma-2-ONNX)Transformers.js浏览器/Node.js 示例及后端/数据类型指导。
LiteRT 文本，270M (https://huggingface.co/litert-community/embeddinggemma-2-text-270m-litert-lm)LiteRT-LM纯文本模型。
LiteRT 文本 + 视觉，440M (https://huggingface.co/litert-community/embeddinggemma-2-text-vision-440m-litert-lm)LiteRT-LM启用视觉的模型；参见支持输入表。
LiteRT 完整模型，740M (https://huggingface.co/litert-community/embeddinggemma-2-740m-litert-lm)LiteRT-LM完整多模态模型和部署说明。
MLX Community 合集 (https://huggingface.co/collections/mlx-community/embeddinggemma-2)Apple Silicon转换合集；请查看模型卡了解运行时/模态支持情况。

推理框架与服务

已确认支持第二代模型。Star 数通过 Shields.io 更新，可能存在缓存。

项目Stars用途和支持证据
LiteRT-LM (https://github.com/google-ai-edge/LiteRT-LM)Stars端侧推理；在 0.18.0 中添加支持（https://github.com/google-ai-edge/LiteRT-LM）。
llama.cpp (https://github.com/ggml-org/llama.cpp)Stars原生 C/C++；文本、视觉和音频支持已合并（https://github.com/ggml-org/llama.cpp/pull/30054）。
MLX-VLM (https://github.com/Blaizzy/mlx-vlm)Stars在 Apple Silicon 上原生 MLX 多模态嵌入（https://github.com/Blaizzy/mlx-vlm/blob/main/mlx_vlm/models/embedding_gemma2/README.md）。
oMLX (https://github.com/jundot/omlx)StarsApple Silicon 推理服务器；已列出 EmbeddingGemma2 支持（https://github.com/jundot/omlx）。
Sentence Transformers (https://github.com/huggingface/sentence-transformers)StarsPython 嵌入；官方指南要求 6.1.0+（https://developers.googleblog.com/embeddinggemma-2-the-developer-guide/）。
Transformers (https://github.com/huggingface/transformers)StarsPython 模型和处理器 API（https://huggingface.co/docs/transformers/model_doc/embedding_gemma2）。
Transformers.js (https://github.com/huggingface/transformers.js)Stars浏览器 / Node.js；在 4.3.1 中添加支持（https://github.com/huggingface/transformers.js/releases/tag/4.3.1）。
  • embeddinggemma.c (https://github.com/QuixiAI/embeddinggemma.c) - 支持 EmbeddingGemma2 的原生嵌入服务器，在 CPU 和 Metal 上运行（文本、图像、音频、采样视频、混合输入）。v2 的 CUDA、ROCm 和 XPU 支持尚待添加；已发布的基准测试反映的是第一代 300M 模型。

实用注意事项

  • 使用模型卡中的任务特定前缀（https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2）；查询和文档的前缀不同。
  • 重新归一化截断后的向量，并保持查询/文档维度一致。请仔细验证多模态检索中 128 维的效果。
  • 参考权重请使用 BF16 或 FP32（不要使用 FP16）。转换后的运行时请参见数据类型指导（https://huggingface.co/onnx-community/embeddinggemma-2-ONNX）。
  • 各模态共享 8,192 个 token 的预算。在对音频分块或对视频采样之前，请遵循多模态预处理流程（https://ai.google.dev/gemma/docs/embeddinggemma/multimodal-embeddinggemma-with-sentence-transformers）。

评测

官方基准测试表 (https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2#benchmark-results) 报告了发布方在文本、代码、图像、视觉文档、视频、音频和截断维度上的结果。社区基准测试提交要求详见 CONTRIBUTING.md。

贡献

请参阅 CONTRIBUTING.md，推荐第二代资源或基准测试。

Feiteng (@FeitengLi)： Google 开源 EmbeddingGemma 2，轻量级、多模态嵌入模型将文本、代码、图像、视频和音频映射到一个单一的、统一的嵌入空间。

非常适合拿来做一个多模态 agent plugin，旅行结束后试试用它训练音频理解模型

相似文章

Google EmbeddingGemma 2

Product Hunt

Google DeepMind发布了EmbeddingGemma 2，这是一个开源的轻量级多模态嵌入模型，可将文本、代码、图像、视频和音频映射到同一共享空间，740M参数可在设备端运行，并采用Apache 2.0许可。

EmbeddingGemma 2

Simon Willison's Blog

Simon Willison 对 Google 以 Apache 2.0 许可证发布 EmbeddingGemma 2 发表评论，认为开放权重对嵌入模型至关重要，这样用户才能避免被专有托管服务锁定，这类服务日后可能随时下线。

EmbeddingGemma 2：一款开源、轻量级的多模态嵌入模型

Google DeepMind Blog

Google DeepMind 推出 EmbeddingGemma 2，这是一款拥有 740M 参数的开源（Apache 2.0）多模态嵌入模型，将文本、代码、图像、视频和音频统一到共享嵌入空间中，并针对端侧推理进行了优化。该模型基于 Gemma 4 架构构建，支持 8K 上下文，并采用 Matryoshka 截断以提升存储效率。