handy-computer/transcribe.cpp
摘要
transcribe.cpp是一个C/C++语音转文本推理库,通过GGUF格式在ggml运行时上支持16个模型家族和60多种变体,提供GPU后端(Metal、Vulkan、CUDA)和CPU推理。
查看缓存全文
缓存时间: 2026/07/20 15:26
handy-computer/transcribe.cpp 源代码:https://github.com/handy-computer/transcribe.cpp
transcribe.cpp C/C++ 语音转文本推理库
支持多种 STT 模型家族,通过 GGUF(https://github.com/ggerganov/gguf)模型运行在 ggml(https://github.com/ggml-org/ggml)运行时上,配备 Metal、Vulkan 和 CUDA 后端用于快速 GPU 推理,以及 tinyBLAS 加速的 CPU 路径。涵盖 16 个模型家族和 60 多个变体,支持流式和批量处理。我们在 handy-computer(https://huggingface.co/handy-computer)下发布的每个模型都经过数值验证,并与其参考实现进行了 WER 测试。
支持的模型:
| 家族 | 变体 | 文档 |
|---|---|---|
| Parakeet | 10 个变体:TDT、RNN-T、CTC、TDT+CTC(110M–1.1B) | docs/models/parakeet.md |
| Canary | canary-1b、canary-1b-v2、canary-1b-flash、canary-180m-flash | docs/models/canary.md |
| Canary-Qwen | canary-qwen-2.5b(FastConformer + Qwen3-1.7B SALM) | docs/models/canary-qwen-2.5b.md |
| Whisper | 12 个变体(tiny 至 large-v3-turbo,以及 .en 系列) | docs/models/whisper.md |
| GigaAM | gigaam-v3-{e2e-rnnt,e2e-ctc,rnnt,ctc} | docs/models/gigaam.md |
| Moonshine | moonshine-tiny、moonshine-base | docs/models/moonshine.md |
| Moonshine Streaming | moonshine-streaming-{tiny,small,medium} | docs/models/moonshine-streaming.md |
| Qwen3-ASR | qwen3-asr-0.6b、qwen3-asr-1.7b | docs/models/qwen3-asr.md |
| Cohere Transcribe | cohere-transcribe-03-2026 | docs/models/cohere-transcribe-03-2026.md |
| SenseVoice | sensevoice-small | docs/models/sensevoice-small.md |
| FunASR Nano | fun-asr-nano-2512、fun-asr-mlt-nano-2512 | docs/models/fun-asr-nano.md |
| Nemotron Speech Streaming | nemotron-speech-streaming-en-0.6b | docs/models/nemotron-speech-streaming-en-0.6b.md |
| Nemotron 3.5 ASR Streaming | nemotron-3.5-asr-streaming-0.6b(多语言,40 个区域) | docs/models/nemotron-3.5-asr-streaming-0.6b.md |
| Multitalker Parakeet Streaming | multitalker-parakeet-streaming-0.6b-v1(仅单说话人 ASR 路径) | docs/models/multitalker-parakeet-streaming-0.6b-v1.md |
| Granite Speech 4 / 4.1 | granite-4.0-1b-speech、granite-speech-4.1-2b{,-plus,-nar} | docs/models/granite-speech.md |
| Voxtral | voxtral-mini-3b-2507、voxtral-small-24b-2507(音频-LLM;转写+翻译) | docs/models/voxtral.md |
| Voxtral Realtime | voxtral-mini-4b-realtime-2602(流式音频-LLM) | docs/models/voxtral-realtime.md |
| MedASR | medasr(Conformer + CTC,英语医疗听写,受控访问) | docs/models/medasr.md |
| MOSS Transcribe-Diarize | moss-transcribe-diarize(音频-LLM;英文+中文 ASR,带内联说话人分离) | docs/models/moss-transcribe-diarize.md |
每个变体的模型卡片位于 docs/models/ 目录下。
构建
cmake -B build
cmake --build build
在 Apple Silicon 上自动启用 Metal。对于 Vulkan(Linux/Windows):
# Ubuntu/Debian
sudo apt install build-essential cmake libvulkan-dev glslc libopenblas-dev
cmake -B build -DTRANSCRIBE_VULKAN=ON
cmake --build build
在 Windows 上,请参阅 完整构建指南 了解 Vulkan SDK 设置、Visual Studio 命令以及针对过深检出目录的短构建根回退方案。
对于 CUDA(Linux + NVIDIA GPU):
# 需要 CUDA 工具包(nvcc)在 PATH 中
cmake -B build -DTRANSCRIBE_CUDA=ON
cmake --build build
libopenblas-dev 是可选的但推荐使用。它可将主机端解码器加速约 10-15 倍。没有它,构建会自动回退到标量路径。tinyBLAS(Justine Tunney 的 llamafile_sgemm 内核)默认开启。
构建量化工具:
cmake -B build -DTRANSCRIBE_BUILD_TOOLS=ON
cmake --build build
模型
所有支持模型的预构建 GGUF 文件托管在 Hugging Face 的 handy-computer(https://huggingface.co/handy-computer)下。上表中每个模型的文档都包含了每种量化版本的直接下载链接。仅当需要不同的数据类型或使用了非预构建的检查点时,才从源代码转换。
转换为 GGUF
转换器通过 ASRModel.from_pretrained 直接从 NVIDIA 的 NeMo 检查点加载。需要 uv(https://docs.astral.sh/uv/);parakeet 环境附带了 NeMo 及其依赖。
uv run --project scripts/envs/parakeet \
scripts/convert-parakeet.py nvidia/parakeet-tdt-0.6b-v2
这将按照 llama.cpp 风格的 <模型名>-<量化类型>.gguf 命名约定,写入 models/parakeet-tdt-0.6b-v2/parakeet-tdt-0.6b-v2-F32.gguf。对于离线转换,可传入本地 .nemo 路径或解压后的目录。
量化
transcribe-quantize 工具从参考 GGUF 生成更小的模型。可用的预设:F16、Q8_0、Q6_K、Q5_K_M、Q4_K_M。
build/bin/transcribe-quantize \
models/parakeet-tdt-0.6b-v2/parakeet-tdt-0.6b-v2-F32.gguf \
models/parakeet-tdt-0.6b-v2/parakeet-tdt-0.6b-v2-Q4_K_M.gguf \
--quant Q4_K_M
用法
build/bin/transcribe-cli -m models/parakeet-tdt-0.6b-v2/parakeet-tdt-0.6b-v2-F32.gguf samples/jfk.wav
输入必须是 16 kHz 单声道 WAV 格式。使用 ffmpeg 或 sox 转换其他格式:
ffmpeg -i input.mp3 -ar 16000 -ac 1 output.wav
绑定
官方绑定通过 C API 封装,支持其他语言:
| 语言 | 路径 |
|---|---|
| Python | bindings/python |
| TypeScript / JavaScript | bindings/typescript |
| Rust | bindings/rust/transcribe-cpp |
| Swift / ObjC | bindings/swift |
参见 docs/bindings.md 了解绑定的生成方式以及如何与头文件保持同步。
测试
cd build && ctest
某些测试需要真实的模型文件。启用它们:
cmake -B build -DTRANSCRIBE_BUILD_REAL_MODEL_TESTS=ON
cmake --build build
TRANSCRIBE_PARAKEET_GGUF=path/to/model.gguf ctest --test-dir build
关于新移植所期望的模型家族冒烟测试、数值验证和基准测试模式,请参见 docs/model-family-testing.md。
赞助商与支持组织
Mozilla AI 与 BiR 计划
特别感谢 Mozilla AI(https://www.mozilla.ai/)及其 BiR 计划(https://www.mozilla.ai/company/bir)。整个项目最初只是一个想法,甚至还不是实现方向。它是一项研究项目,探索如何尽可能轻松地在所有平台上加速转写模型。BiR 计划和 Davide 帮助支持了这项研究,并最终确定了我选择实现并基于 ggml 构建推理引擎的方向。同时,也尝试了使用自动化模型移植的智能编程工具。
Hugging Face
Hugging Face(https://huggingface.co/)为项目提供了额外的存储空间,使我们能够托管所有支持的模型。我们希望尽可能多地提供规范的模型参考,Hugging Face 的支持帮助我们实现了这一点。
Modal
Modal(https://modal.com/)提供了 GPU 积分,使项目能够测试和验证实现与 transformers 或 NeMo 参考源码是否一致。这对于确保我们拥有一个尽可能接近生产级、且能在任何地方运行的推理引擎至关重要。我们相信准确的转写至关重要,而确保这一点唯一的方法就是通过长期的 WER 检查,Modal 为我们提供了这一支持。handy-computer(https://huggingface.co/handy-computer)下发布的每个模型都已通过 WER 检查,因此您可以信任结果。如果出现任何回归,我们一定会修复它们。
Blacksmith
Blacksmith(https://www.blacksmith.sh/)为该项目提供了许多 CI 运行器。这有助于对 transcribe.cpp 进行充分的测试,并确保我们的发布尽可能顺利。CI 运行快速,并且可以直接替代标准的 GitHub Actions 运行器。我很快就遇到了它们的限制,但在联系 Blacksmith 后,他们非常乐意地为项目提供了运行器。
项目布局
include/transcribe.h 公共 C API(单头文件)
src/ 库内部实现(C++17)
src/arch/parakeet/ Parakeet 家族实现
src/arch/cohere/ Cohere Transcribe 家族实现
examples/cli/ CLI 二进制源文件
tools/transcribe-quantize/ 量化工具源文件
bindings/ Python、TypeScript、Rust 和 Swift 绑定
docs/ 移植和验证指南
scripts/ Python 转换器和测试工具
ggml/ 内嵌的 ggml(参见 ggml/UPSTREAM 查看固定 SHA)
src/third_party/miniz/ 内嵌的 miniz deflate 编解码器(参见其 UPSTREAM 文件)
samples/ 测试音频文件
tests/ 单元测试和冒烟测试
许可证
transcribe.cpp 采用 MIT 许可证。详情请参见 LICENSE。内嵌的第三方组件(ggml、miniz——均为 MIT)在 THIRD-PARTY-LICENSES.md 中注明。
相似文章
audio.cpp: 集成12种音频模型(Qwen3-TTS、PocketTTS、VeVo2等)于一个C++/ggml运行时 — 在CUDA上TTS速度比Python快5倍
audio.cpp是一个C++/ggml运行时,集成了包括Qwen3-TTS、PocketTTS和VeVo2在内的12种音频模型,在CUDA上实现TTS速度比Python快5倍。
nvidia/NVIDIA-NVIDIA-Nemotron-3.5-Transcribe-30B-A4B · Hugging Face
NVIDIA 发布了 Nemotron 3.5 Transcribe 30B-A4B,这是一款开源权重的离线语音与音频转录模型,支持 40 种语言,采用混合 MoE 架构,激活参数约 43 亿,可处理长达一小时的录音。
Gemini 3.5 Transcribe 智能转录
Google 推出 Gemini 3.5 Transcribe,这是一款新的 AI 模型,提供精确且智能的实时语音转文本转录,开发者可通过 API 获取。
Granite Speech 5.0 Turbo CTC: 极快且准确的转录
IBM发布两款新的紧凑型AI模型Granite Speech 5.0 Turbo CTC,用于极快且准确的英语语音转录,在NVIDIA H200 GPU上实现超过12,600 RTFx。
我将 NVIDIA Parakeet(语音转文本)移植到 ggml:与 NeMo 输出相同,速度更快,GGUF 量化,无需 Python
NVIDIA 的 Parakeet 语音转文本模型已被移植到纯 C++/ggml,实现了与 NeMo 字节完全相同的输出,GPU 上推理速度提升高达 5 倍,并提供量化的 GGUF 变体,无需 Python 或 PyTorch 即可在任何地方高效部署。