@mudler_it：parakeet.cpp 现已在 OpenAI API 背后运行 NVIDIA Parakeet。将任何 OpenAI 客户端指向本地服务器，发送音频，……
摘要
parakeet.cpp 能够在本地的 OpenAI API 背后运行 NVIDIA Parakeet ASR，提供预构建的 Docker 镜像，支持 CPU 和 CUDA（包括 arm64），实现带有词级时间戳的实时转录。
查看缓存全文
缓存时间: 2026/06/18 04:06
parakeet.cpp 现在支持通过 OpenAI API 运行 NVIDIA Parakeet。
将任意 OpenAI 客户端指向本地服务器，发送音频，即可获得带词级时间戳的转录文本。无需云端，推理时无需 Python。提供预构建的 Docker 镜像，支持 CPU 和 CUDA（同样支持 arm64）。
CPU 上的实时 ASR 来了。https://t.co/iHkVOQV8ja
相似文章
parakeet.wgsl – 通过原生 WebGPU 与 SIMD WASM 在浏览器中实现快速准确的语音识别
parakeet.wgsl 使用原生 WebGPU 计算着色器和 SIMD WASM，在浏览器中实现 NVIDIA Parakeet TDT 0.6B V2 语音转录的快速与准确，并提供实时演示与开源库。
@badlogicgames: 一个很棒的项目：parakeet.cpp https://github.com/mudler/parakeet.cpp… 基于GGML的parakeet推理管道…
parakeet.cpp 是一个快速、轻依赖的C++17推理管道，用于NVIDIA的NeMo Parakeet语音识别模型，基于ggml构建。它能实现与NeMo字节相同的转录结果，并在CPU和GPU上显著提升速度。
我对Parakeet 0.6B进行了医学ASR微调——开放权重，本地运行于Mac/CUDA/CPU
Omi Health创始人微调了NVIDIA的Parakeet TDT 0.6B用于医学ASR，发布了开放权重的模型Omi Med STT v1，在本地Mac、CUDA或CPU上运行时实现了有竞争力的医学WER。
我将 NVIDIA Parakeet（语音转文本）移植到 ggml：与 NeMo 输出相同，速度更快，GGUF 量化，无需 Python
NVIDIA 的 Parakeet 语音转文本模型已被移植到纯 C++/ggml，实现了与 NeMo 字节完全相同的输出，GPU 上推理速度提升高达 5 倍，并提供量化的 GGUF 变体，无需 Python 或 PyTorch 即可在任何地方高效部署。
🟩 NVIDIA 的完整语音技术栈现已本地化。ASR + TTS + 编解码器，量化为 GGUF，通过 NeMo-Speech.cpp 在设备端运行
NVIDIA 的完整语音技术栈——ASR、TTS 和编解码器——现已量化为 GGUF，并通过 NeMo-Speech.cpp 在设备端本地运行，同时发布了 Magpie-TTS、Nemotron Speech Streaming 和 Parakeet 的新模型。