@aigclink：有人将谷歌的 EmbeddingGemma 2 改造为语音识别模型，实现了惊人的端侧推理速度

X AI KOLs Timeline 新闻
speech-recognition embeddings on-device multimodal retrieval gemma

摘要

有人将谷歌的 EmbeddingGemma 2 改造为语音识别模型，通过在冻结参数的嵌入模型上训练轻量级 Reader，把语音转写从生成问题变成检索问题，在 M3 MacBook Air 上实现 288× 实时速度（1 小时音频约 13 秒转写），WER 约 5%，可能重塑端侧 STT 市场。

有人将谷歌的 EmbeddingGemma 2 改造为语音识别模型，实现了惊人的端侧推理速度——快得离谱 M3 MacBook Air 上，1 小时音频约 13 秒完成转写，处理速度达 288× 实时 WER（词错误率）5%，而领先的 STT 方案为 2%～3%。如果后续 Reader 迭代能将 WER 压到 3% 以下，端侧专用 STT 市场可能会迎来一轮洗牌 传统 STT 需要专门训练一个 语音→文本 的生成模型，但如今 EmbeddingGemma 2 已经能将文本、图像、音频和视频映射到同一语义空间，让音频"hello"和文本"hello"在向量空间中彼此靠近 于是网友在不修改 EmbeddingGemma 2 参数的情况下，直接在其之上训练了一个轻量级 Reader：将音频片段编码为向量后，直接在模型的文本空间中检索最近的词，把转写从一个生成问题变成了检索问题，本质上是把它"黑"成了一个语音转文字模型 目前 5% 的 WER 在容错要求相对较高的场景中已具实用价值，比如整理会议录音、访谈转写、语音笔记、视频字幕草稿等 来自 @TslShahir #EmbeddingGemma2 #STT #语音转文字
查看原文
查看缓存全文

缓存时间: 2026/10/13 15:47

有人把 Google 的 EmbeddingGemma 2 改造成了语音识别模型，实现了惊人的端侧推理速度——快到离谱

M3 MacBook Air，1 小时音频约 13 秒转写完毕，处理速度 288×

WER 5%，目前顶级 STT 在 2%~3%。如果后续 Reader 迭代能将 WER 压到 3% 以下，端侧专用 STT 市场恐怕要重新洗牌了

传统 STT 需要专门训练一个语音→文字的生成模型，但如今 EmbeddingGemma 2 已经能将文本、图像、音频和视频映射到同一个语义空间，让音频里的“hello“和文本里的“hello“在向量空间中距离更近

于是网友在不修改 EmbeddingGemma 2 参数的情况下，直接在其之上训练了一个轻量级 Reader：将音频切片编码成向量后，直接在模型的文本空间中检索最近的词，把转写从生成问题变成了检索问题，本质上是“黑“出了一个语音转文字模型

目前 5% 的 WER 在容错率较高的场景下已具备实用价值，比如整理会议录音、采访转录、语音备忘、视频字幕草稿等

来自 @TslShahir

#EmbeddingGemma2 #STT #语音转文字

AIGCLINK (@aigclink): 刚刚谷歌开源了其最新 Embedding 模型：EmbeddingGemma 2，原生多模态，手机、端侧能跑

去年的 EmbeddingGemma 是纯文本嵌入，这代把代码、图像、视频、音频全部打通，都映射进同一个向量空间

上下文 8K，上一代的 4 倍，支持 100+ 语言，跟 Gemma 4 搭配可跑端侧多模态 RAG

相似文章

在 MacBook Air 上转录一小时的音频仅需约 13 秒

Hacker News Top

谷歌的 EmbeddingGemma 2 嵌入模型被改造成了一款语音转文字工具，通过在冻结的音频编码器之上添加一个经过训练的小型读取器，可在基础款 MacBook Air 上完全于本地运行，用约 13 秒转录一小时的音频。

Google EmbeddingGemma 2

Product Hunt

Google DeepMind发布了EmbeddingGemma 2，这是一个开源的轻量级多模态嵌入模型，可将文本、代码、图像、视频和音频映射到同一共享空间，740M参数可在设备端运行，并采用Apache 2.0许可。