balbal-v2:可在 CPU 上运行的土耳其语语音识别模型,在 Mu-Bench TR 上仅次于 Google Chirp 3 排名第二
摘要
balbal-v2 发布了两个 CPU 高效的土耳其语语音识别模型(3.13 亿和 4500 万参数,CTC + KenLM),训练成本不到 250 美元,在 Mu-Bench TR 基准测试中仅次于 Google Chirp 3 排名第二,在普通硬件上运行速度最高可达实时的 236 倍。
我做土耳其语语音识别(ASR)已经有一段时间了,最近发布了 v2。两个模型,都是 CTC + KenLM 架构,都针对 CPU 设计(训练成本均不到 250 美元):
- balbal-v2-manas:3.13 亿参数,土耳其语 + 英语,在 8 线程下约为实时的 123 倍
- balbal-v2:4500 万参数,仅支持土耳其语,约为实时的 236 倍
它甚至能在一台运行 Windows 7 的老款 Celeron POS 机的单核上以超过实时的速度运行。
Mu-Bench 是一个土耳其语基准测试集,包含 846 通真实客服电话。以下数据来自官方测试框架:
| 模型 | WER | sigWER |
|---|---|---|
| Google Chirp 3 | 8.03 | 14.30 |
| balbal-v2-manas | 8.20 | 14.89 |
| Gemini 3.5 Transcribe | 8.68 | 18.20 |
| ElevenLabs Scribe v2 | 9.43 | 19.15 |
| balbal-v2 | 9.46 | 18.44 |
| Deepgram Nova-3 | 13.37 | 24.35 |
| Azure Speech | 14.02 | 30.73 |
| Qwen3-ASR 1.7B | 14.76 | 30.61 |
| whisper-large-v3-turbo | 24.65 | 47.04 |
在 FLEURS 土耳其语数据集上,manas 与 whisper-large-v3-turbo 基本持平(4.06 对 4.07),但在同一 CPU 上速度约快 75 倍。英语表现也不错,在 Open ASR 排行榜数据集上平均 WER 为 8.67。
该模型采用了一种独特的架构,包含受 engram 启发的 product-key-memory,以及一个循环 3 次后才输出结果的精炼器(refiner)。另外,有一个团队(LocalDoc)已经基于 manas 架构训练了一个阿塞拜疆语模型,在 FLEURS 阿塞拜疆语上 WER 为 10.98。(https://huggingface.co/LocalDoc/speakwrite-azerbaijani)
我很高兴他们采用了我的模型设计决策,这让我很开心 :D
使用方法:`pip install balbal`,然后 `balbal run file.wav`。还提供实时麦克风模式和一个兼容 OpenAI 的服务器。
代码采用 Apache-2.0 协议。权重可用于研究、非商业用途和小型企业,但不能作为 ASR 产品或 API 转售。完整条款见模型页面。
权重:https://huggingface.co/erayyapagci/balbal-v2-manas 和 https://huggingface.co/erayyapagci/balbal-v2
代码:https://github.com/erayyap/balbal
演示 + 离线 Android 应用:https://erayy.com/balbal
相似文章
RightNow-Arabic-0.5B-Turbo:一款通过词汇注入和边缘优先部署的开源亚10亿参数阿拉伯语语言模型
RightNow-Arabic-0.5B-Turbo 是一款基于 Qwen2.5-0.5B 构建的开源 518M 参数阿拉伯语专用语言模型,通过词汇注入和持续预训练,在阿拉伯语基准测试中取得了有竞争力的性能,同时可通过量化部署在边缘设备上。
OpenBMB/VoxCPM
OpenBMB发布VoxCPM2,一个2B参数的无分词器TTS模型,基于超过200万小时的多语言语音数据训练,支持30种语言、语音设计、可控克隆和48kHz输出。
tencent/Hy-MT2-7B
腾讯开源了Hy-MT2系列快速思考的多语言翻译模型(1.8B、7B、30B-A3B),支持33种语言,同时提供了用于设备端部署的极端量化方法以及一个新的指令遵循基准IFMTBench。
@DataChaz:@NVIDIA 刚刚悄悄发布了一个极其令人印象深刻的语音识别模型,它彻底改变了本地语音处理的计算方式……
NVIDIA 悄然发布了 Nemotron-3.5-ASR,这是一个轻量级、参数规模为 0.6B 的开源语音识别模型,专为实时流式传输设计,支持 40 多种语言、低延迟和缓存感知架构。
@yibie: https://x.com/yibie/status/2109079699104399623
Cactus Compute 发布 Whistle:一个 16.9 MB、纯 CPU 运行的语音识别模型,支持七种欧洲语言,实测首 token 5-8 毫秒、解码约 1300 token/秒,但对不支持的语言(如中文、日文)不会报错,而是静默输出假词,存在生产环境静默污染风险。