handy-computer/transcribe.cpp

GitHub Trending (daily) 工具

摘要

transcribe.cpp是一个C/C++语音转文本推理库,通过GGUF格式在ggml运行时上支持16个模型家族和60多种变体,提供GPU后端(Metal、Vulkan、CUDA)和CPU推理。

ggml 语音转文本推理,支持16个以上模型家族
查看原文
查看缓存全文

缓存时间: 2026/07/20 15:26

handy-computer/transcribe.cpp 源代码:https://github.com/handy-computer/transcribe.cpp

transcribe.cpp C/C++ 语音转文本推理库

支持多种 STT 模型家族,通过 GGUF(https://github.com/ggerganov/gguf)模型运行在 ggml(https://github.com/ggml-org/ggml)运行时上,配备 Metal、Vulkan 和 CUDA 后端用于快速 GPU 推理,以及 tinyBLAS 加速的 CPU 路径。涵盖 16 个模型家族和 60 多个变体,支持流式和批量处理。我们在 handy-computer(https://huggingface.co/handy-computer)下发布的每个模型都经过数值验证,并与其参考实现进行了 WER 测试。

支持的模型:

家族变体文档
Parakeet10 个变体:TDT、RNN-T、CTC、TDT+CTC(110M–1.1B)docs/models/parakeet.md
Canarycanary-1b、canary-1b-v2、canary-1b-flash、canary-180m-flashdocs/models/canary.md
Canary-Qwencanary-qwen-2.5b(FastConformer + Qwen3-1.7B SALM)docs/models/canary-qwen-2.5b.md
Whisper12 个变体(tiny 至 large-v3-turbo,以及 .en 系列)docs/models/whisper.md
GigaAMgigaam-v3-{e2e-rnnt,e2e-ctc,rnnt,ctc}docs/models/gigaam.md
Moonshinemoonshine-tiny、moonshine-basedocs/models/moonshine.md
Moonshine Streamingmoonshine-streaming-{tiny,small,medium}docs/models/moonshine-streaming.md
Qwen3-ASRqwen3-asr-0.6b、qwen3-asr-1.7bdocs/models/qwen3-asr.md
Cohere Transcribecohere-transcribe-03-2026docs/models/cohere-transcribe-03-2026.md
SenseVoicesensevoice-smalldocs/models/sensevoice-small.md
FunASR Nanofun-asr-nano-2512、fun-asr-mlt-nano-2512docs/models/fun-asr-nano.md
Nemotron Speech Streamingnemotron-speech-streaming-en-0.6bdocs/models/nemotron-speech-streaming-en-0.6b.md
Nemotron 3.5 ASR Streamingnemotron-3.5-asr-streaming-0.6b(多语言,40 个区域)docs/models/nemotron-3.5-asr-streaming-0.6b.md
Multitalker Parakeet Streamingmultitalker-parakeet-streaming-0.6b-v1(仅单说话人 ASR 路径)docs/models/multitalker-parakeet-streaming-0.6b-v1.md
Granite Speech 4 / 4.1granite-4.0-1b-speech、granite-speech-4.1-2b{,-plus,-nar}docs/models/granite-speech.md
Voxtralvoxtral-mini-3b-2507、voxtral-small-24b-2507(音频-LLM;转写+翻译)docs/models/voxtral.md
Voxtral Realtimevoxtral-mini-4b-realtime-2602(流式音频-LLM)docs/models/voxtral-realtime.md
MedASRmedasr(Conformer + CTC,英语医疗听写,受控访问)docs/models/medasr.md
MOSS Transcribe-Diarizemoss-transcribe-diarize(音频-LLM;英文+中文 ASR,带内联说话人分离)docs/models/moss-transcribe-diarize.md

每个变体的模型卡片位于 docs/models/ 目录下。

构建

cmake -B build
cmake --build build

在 Apple Silicon 上自动启用 Metal。对于 Vulkan(Linux/Windows):

# Ubuntu/Debian
sudo apt install build-essential cmake libvulkan-dev glslc libopenblas-dev
cmake -B build -DTRANSCRIBE_VULKAN=ON
cmake --build build

在 Windows 上,请参阅 完整构建指南 了解 Vulkan SDK 设置、Visual Studio 命令以及针对过深检出目录的短构建根回退方案。

对于 CUDA(Linux + NVIDIA GPU):

# 需要 CUDA 工具包(nvcc)在 PATH 中
cmake -B build -DTRANSCRIBE_CUDA=ON
cmake --build build

libopenblas-dev 是可选的但推荐使用。它可将主机端解码器加速约 10-15 倍。没有它,构建会自动回退到标量路径。tinyBLAS(Justine Tunney 的 llamafile_sgemm 内核)默认开启。

构建量化工具:

cmake -B build -DTRANSCRIBE_BUILD_TOOLS=ON
cmake --build build

模型

所有支持模型的预构建 GGUF 文件托管在 Hugging Face 的 handy-computer(https://huggingface.co/handy-computer)下。上表中每个模型的文档都包含了每种量化版本的直接下载链接。仅当需要不同的数据类型或使用了非预构建的检查点时,才从源代码转换。

转换为 GGUF

转换器通过 ASRModel.from_pretrained 直接从 NVIDIA 的 NeMo 检查点加载。需要 uv(https://docs.astral.sh/uv/);parakeet 环境附带了 NeMo 及其依赖。

uv run --project scripts/envs/parakeet \
    scripts/convert-parakeet.py nvidia/parakeet-tdt-0.6b-v2

这将按照 llama.cpp 风格的 <模型名>-<量化类型>.gguf 命名约定,写入 models/parakeet-tdt-0.6b-v2/parakeet-tdt-0.6b-v2-F32.gguf。对于离线转换,可传入本地 .nemo 路径或解压后的目录。

量化

transcribe-quantize 工具从参考 GGUF 生成更小的模型。可用的预设:F16、Q8_0、Q6_K、Q5_K_M、Q4_K_M。

build/bin/transcribe-quantize \
    models/parakeet-tdt-0.6b-v2/parakeet-tdt-0.6b-v2-F32.gguf \
    models/parakeet-tdt-0.6b-v2/parakeet-tdt-0.6b-v2-Q4_K_M.gguf \
    --quant Q4_K_M

用法

build/bin/transcribe-cli -m models/parakeet-tdt-0.6b-v2/parakeet-tdt-0.6b-v2-F32.gguf samples/jfk.wav

输入必须是 16 kHz 单声道 WAV 格式。使用 ffmpeg 或 sox 转换其他格式:

ffmpeg -i input.mp3 -ar 16000 -ac 1 output.wav

绑定

官方绑定通过 C API 封装,支持其他语言:

语言路径
Pythonbindings/python
TypeScript / JavaScriptbindings/typescript
Rustbindings/rust/transcribe-cpp
Swift / ObjCbindings/swift

参见 docs/bindings.md 了解绑定的生成方式以及如何与头文件保持同步。

测试

cd build && ctest

某些测试需要真实的模型文件。启用它们:

cmake -B build -DTRANSCRIBE_BUILD_REAL_MODEL_TESTS=ON
cmake --build build
TRANSCRIBE_PARAKEET_GGUF=path/to/model.gguf ctest --test-dir build

关于新移植所期望的模型家族冒烟测试、数值验证和基准测试模式,请参见 docs/model-family-testing.md。

赞助商与支持组织

Mozilla AI 与 BiR 计划

特别感谢 Mozilla AI(https://www.mozilla.ai/)及其 BiR 计划(https://www.mozilla.ai/company/bir)。整个项目最初只是一个想法,甚至还不是实现方向。它是一项研究项目,探索如何尽可能轻松地在所有平台上加速转写模型。BiR 计划和 Davide 帮助支持了这项研究,并最终确定了我选择实现并基于 ggml 构建推理引擎的方向。同时,也尝试了使用自动化模型移植的智能编程工具。

Hugging Face

Hugging Face(https://huggingface.co/)为项目提供了额外的存储空间,使我们能够托管所有支持的模型。我们希望尽可能多地提供规范的模型参考,Hugging Face 的支持帮助我们实现了这一点。

Modal

Modal(https://modal.com/)提供了 GPU 积分,使项目能够测试和验证实现与 transformers 或 NeMo 参考源码是否一致。这对于确保我们拥有一个尽可能接近生产级、且能在任何地方运行的推理引擎至关重要。我们相信准确的转写至关重要,而确保这一点唯一的方法就是通过长期的 WER 检查,Modal 为我们提供了这一支持。handy-computer(https://huggingface.co/handy-computer)下发布的每个模型都已通过 WER 检查,因此您可以信任结果。如果出现任何回归,我们一定会修复它们。

Blacksmith

Blacksmith(https://www.blacksmith.sh/)为该项目提供了许多 CI 运行器。这有助于对 transcribe.cpp 进行充分的测试,并确保我们的发布尽可能顺利。CI 运行快速,并且可以直接替代标准的 GitHub Actions 运行器。我很快就遇到了它们的限制,但在联系 Blacksmith 后,他们非常乐意地为项目提供了运行器。

项目布局

include/transcribe.h        公共 C API(单头文件)
src/                        库内部实现(C++17)
src/arch/parakeet/          Parakeet 家族实现
src/arch/cohere/            Cohere Transcribe 家族实现
examples/cli/               CLI 二进制源文件
tools/transcribe-quantize/  量化工具源文件
bindings/                   Python、TypeScript、Rust 和 Swift 绑定
docs/                       移植和验证指南
scripts/                    Python 转换器和测试工具
ggml/                       内嵌的 ggml(参见 ggml/UPSTREAM 查看固定 SHA)
src/third_party/miniz/      内嵌的 miniz deflate 编解码器(参见其 UPSTREAM 文件)
samples/                    测试音频文件
tests/                      单元测试和冒烟测试

许可证

transcribe.cpp 采用 MIT 许可证。详情请参见 LICENSE。内嵌的第三方组件(ggml、miniz——均为 MIT)在 THIRD-PARTY-LICENSES.md 中注明。

相似文章

Gemini 3.5 Transcribe 智能转录

Google DeepMind Blog

Google 推出 Gemini 3.5 Transcribe,这是一款新的 AI 模型,提供精确且智能的实时语音转文本转录,开发者可通过 API 获取。