NVIDIA Nemotron 3.5 Transcribe 与 Granary v2：可提示、可适配的智能多语种语音转写

来源：https://huggingface.co/blog/nvidia/nemotron-transcribe-granary

https://huggingface.co/blog/nvidia/nemotron-transcribe-granary#one-open-model-for-multilingual-transcription-speaker-attribution-translation-and-audio-qa-with-top-leaderboard-results-plus-the-open-granary-v2-data-pipeline-and-fine-tuning-recipes-to-adapt-it一款开放模型，覆盖多语种转写、说话人归属、翻译与音频问答，登顶多项榜单，配套开放的 Granary v2 数据管线与微调方案，便于适配自有场景.

一份转录文本即使逐字记录了所有内容，用户或应用仍可能不清楚“谁说了什么“、如何翻译，或领域术语该如何格式化。多语种电话会议、快节奏的商务会议和医疗口述各自需要不同的输出：翻译、说话人标签，或拼写正确的医学术语。

NVIDIA Nemotron 3.5 Transcribe 是一款开放权重、可提示（promptable）的模型，可将录制的语音转化为实用文本，现已上线 Hugging Face (https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B) 和 ModelScope (https://modelscope.ai/collections/nv-community/Nemotron-35-Transcribe)。它将转写、说话人归属（diarization）、翻译和音频问答整合到单一 checkpoint 中：支持 40 种语言的转写，其中 31 种可与英语互译，13 种支持说话人归属。它可处理最长一小时的录音，并标注最多八位说话人。开发者可以用自然语言引导输出格式，选择音频的处理位置，并针对领域词汇和口音适配识别效果。

在 Hugging Face Open ASR Leaderboard (https://huggingface.co/spaces/hf-audio/open_asr_leaderboard) 的英文任务上，Transcribe 在开放权重模型中排名第一，并位于 Artificial Analysis (https://artificialanalysis.ai/speech-to-text/non-streaming?error-rate=word-error-rate-vs-active-size) 的准确率–活跃参数量前沿。在说话人归属方面，它在 David AI 的 21 语种说话人分离榜单 (https://research.withdavid.ai/blog/dai-asr-i18n#leaderboard) 上取得了最低错误率，并在 VoiceArena 的 14 系统对比 (https://voicearena.com/diarization-bench/methodology) 中排名第一。量化版本即将推出，届时你可以在 RTX Spark、DGX Spark 或 Jetson AGX Thor 本地运行 Transcribe，或在 Blackwell 数据中心 GPU 上横向扩展。

Granary v2 的多语种数据（可在 Hugging Face (https://huggingface.co/datasets/nvidia/Granary-v2) 和 ModelScope (https://modelscope.ai/datasets/nv-community/Granary-v2) 获取）与可复用的数据整理管线，配合 NeMo Speech 微调工具 (https://github.com/NVIDIA-NeMo/Speech/blob/main/tutorials/speechlm2/finetuning/README.md)，把提示层面的控制延伸到了训练阶段：开发者可以定义所需的书面表达形式，并让模型适配应用实际遇到的语音。在一项医疗案例研究 (https://github.com/NVIDIA-NeMo/Speech/blob/main/examples/speechlm2/finetuning/docs/medical-asr-synthetic-data.md) 中，微调使留出说话人上的词错误率（WER）相对最佳提示降低了 45.8%。

https://huggingface.co/blog/nvidia/nemotron-transcribe-granary#guide-transcription-and-analysis-with-natural-language用自然语言引导转写与分析

同一个 checkpoint 可以根据指令的不同，将同一份会议录音转化为不同的输出：

• “转写这份录音，并为每位说话人标注姓名。”
• “将这段音频翻译成英文。”
• “这次会议上做出了哪些决定？”

在下方视频中体验模型的实际表现——它挑战的是 1940 年经典疯癫喜剧《His Girl Friday》中的一个片段，该片以台词密集、大量重叠著称。

Nemotron 3.5 Transcribe 为《His Girl Friday》（1940）片段生成字幕并标注说话人，包括重叠对话。

遇到不熟悉的术语时，可以先用上下文提示再训练。例如在医疗场景中：

Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformal. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form.

模型卡片 (https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B) 提供了推荐的预设配置，包括用于音频问答的推理（reasoning）配置，以及完整的提示指南和按任务×语言的矩阵：语言支持因任务而异，音频问答目前以英语训练。也支持词级时间戳。与任何语音模型一样，请对照录音抽查姓名、说话人切换和答案。

**从直播课堂到持久的学习资源。**Agora——其音视频实时平台为各类应用中的实时对话提供支撑——在课堂演示中用到了词级时间戳：Nemotron 3.5 Transcribe 将录制的课堂转化为与回放并排显示的转录文本，学生可以直观看到说了什么、何时说的。Agora 的博客 (https://www.agora.io/en/blog/how-live-teaching-can-become-a-lasting-learning-resource/) 详细介绍了他们是如何构建的。

https://huggingface.co/blog/nvidia/nemotron-transcribe-granary#leaderboard-wins-from-transcription-to-speaker-attribution榜单战绩：从转写到说话人归属

在开放权重模型中，Transcribe 在“说了什么“上领先；在“谁说的“上，它直接登顶两项说话人归属基准测试。

**Hugging Face Open ASR Leaderboard。**该榜单在公开测试集上以词错误率（WER）衡量转写准确度，分为三个赛道：

1. **英文：**在开放权重模型中排名第一，平均 WER 为 5.33%（图 1）。
2. **多语种：**七种语言的平均 WER 为 4.62%，在模型卡片的 Open ASR 对比中，是受测开放权重模型里最低的。
3. **长音频：**平均 WER 为 10.98%，同样是该对比中最低的。

Hugging Face Open ASR English Open (2) Leaderboard 表格，展示模型在 Hugging Face 英文 Open ASR 榜单上的排名，列包括排名、模型、平均 WER、RTFx 和数据集得分。nvidia/Nemotron-3.5-Transcribe 在开放权重模型中排名第一，平均词错误率（WER）为 5.33%，RTFx 为 462.09。(https://cdn-uploads.huggingface.co/production/uploads/68127936de624fb6f57d9989/vGIg17AxweCAnacvnPOet.png)

图 1. Nemotron 3.5 Transcribe 在Hugging Face Open ASR Leaderboard (https://huggingface.co/spaces/hf-audio/open_asr_leaderboard)（英文）的开放权重模型中排名第一，平均 WER 为 5.33%，不含 API 模型。WER 越低，转写错误越少。

**Artificial Analysis 语音转文本榜单。**Artificial Analysis 以 AA-WER（其词错误率指数）独立对语音转文本模型进行排名。Nemotron 3.5 Transcribe 以 2.8% 的 AA-WER 在开放权重模型中并列第一，活跃参数量约 4B，而并列对手为 24B。在 AA-AgentTalk——占 AA-WER 指数 50% 的留出语音代理语音集——上，Transcribe 得分为 1.8% WER，次优开放权重模型为 2.3%。Transcribe 将语音编码器与混合 Mamba–Transformer 混合专家（mixture-of-experts）语言模型配对，因此 30B 参数中每个 token 仅约 4B 处于活跃状态。这使其位于 Artificial Analysis (https://artificialanalysis.ai/speech-to-text/non-streaming) 的开放权重准确率 vs 活跃参数量 Pareto 前沿。在 AA 的全模型图表中，它的排名超过多个广泛使用的专有语音 API。

ArtificialAnalysis-WER vs Model Size (Open Weights) (22 Oct ’26) Artificial Analysis 的散点图，在对数坐标轴上绘制词错误率（AA-WER，非流式）与活跃参数量的关系，针对开放权重语音模型。Nemotron 3.5 Transcribe 位于 Pareto 前沿，约 4B 活跃参数，2.80% WER。(https://cdn-uploads.huggingface.co/production/uploads/68127936de624fb6f57d9989/a7N1ycYypBeM7WKuUphE7.png)

图 2.以约六分之一的活跃参数量达到领先 AA 准确率（https://artificialanalysis.ai/speech-to-text/non-streaming）：Nemotron 3.5 Transcribe 以约 4B 活跃参数实现 2.80% 的 AA-WER。

**跨语言与重叠语音的说话人归属。**Sortformer 的说话人线索与声学特征一同进入语言模型，因此 Transcribe 可以在生成过程中即时标记每个轮次，而非仅依赖后续步骤将说话人与文字对齐。

**David AI DAI-ASR-I18N 榜单。**在 David AI 的 DAI-ASR-I18N 转写与说话人归属综合赛道 (https://research.withdavid.ai/blog/dai-asr-i18n#leaderboard) 上，Transcribe 在受测开放权重模型中排名第一，总体排名第二。在该基准的说话人分离赛道（评估 21 种语言中谁在何时说话）上，它在受测的 14 个系统中取得最低的说话人分离错误率，略胜 NVIDIA 专门的 Nemotron 3 Diarization (https://huggingface.co/nvidia/Nemotron-3-Diarization) 模型。

DavidAI_Nemotron_3.5_Transcribe_Diarization_Accuracy 来自 David AI 的 DAI-ASR-I18N 基准的条形图，按 21 种语言上的总体说话人分离错误率（DER）对系统排名，越低越好。Nemotron 3.5 Transcribe 以 18.26% 排名第一，Nemotron 3 Diarization 以 18.38% 紧随其后；其余开放权重与专有系统范围为 22.85% 至 37.55%。(https://cdn-uploads.huggingface.co/production/uploads/68127936de624fb6f57d9989/zwwsN64zfjYDvTOhQapp5.png)

图 3. NVIDIA 模型包揽 David AI 多语种说话人分离榜单 (https://research.withdavid.ai/blog/dai-asr-i18n#leaderboard) 前两名：Nemotron 3.5 Transcribe 取得最低的总体说话人分离错误率（DER），21 种语言上为 18.26%，其次是 Nemotron 3 Diarization (https://huggingface.co/nvidia/Nemotron-3-Diarization)，为 18.38%。DER 衡量说话人–时间错误；越低越好。

**VoiceArena Diarization-Bench。**在 VoiceArena 的英文完整会话基准 (https://voicearena.com/diarization-bench) 上，Transcribe 在 14 个系统中取得最低的拼接最小置换词错误率（cpWER），并在面对面和在线两种场景中均排名第一。它丢词也最少：删除词占参考词的 8.32%，而中位数约为 31%。

VoiceArena_Track2_cpWER_ranking_1 来自 VoiceArena Diarization-Bench v1 的条形图，按拼接最小置换词错误率（cpWER）对 14 个“说话人分离 + ASR“系统在含重叠语音的英文完整会话上排名，越低越好。NVIDIA Nemotron 3.5 Transcribe 以 32.4% 排名第一，NVIDIA Multitalker Parakeet + Nemotron 3 Diarization 以 34.2% 次之；其余系统范围为 34.7% 至 71.9%。(https://cdn-uploads.huggingface.co/production/uploads/68127936de624fb6f57d9989/kU1uIXD-hl4ikaalIYFfI.png)

图 4. NVIDIA 模型包揽 VoiceArena 14 系统对比 (https://voicearena.com/diarization-bench) 前两名：Nemotron 3.5 Transcribe 以 32.4% cpWER 领先，NVIDIA Multitalker Parakeet 配合 Nemotron 3 Diarization 以 34.2% 次之。Diarization-Bench v1 覆盖英文完整会话、重叠语音和 2–8 位说话人。cpWER 在匹配说话人标签后统计词错误；越低越好。

**更多评测。**Ocular AI 的 Converse-STT 评测将 Transcribe 评为最优开放模型。Josh Talks 的 Voice of India (https://voiceofindia.ai/) 榜单报告了 Transcribe 在印度各语言上的结果。

**高吞吐转写。**在基准测试中，使用即将推出的 NVFP4 量化版本，Transcribe 在单块 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上不到三分钟即可处理 100 小时音频。结果基于 30 秒片段在高并发下测得。

可立即使用 vLLM (https://github.com/NVIDIA-NeMo/Speech/blob/main/docs/source/speechlm2/vllm_serving.rst) 部署现成的 checkpoint。本地部署可通过 NeMo-Speech.cpp (https://github.com/NVIDIA/NeMo-Speech.cpp)，将与量化版本一同推出。Transcribe 专为录制音频设计，不适用于实时流式场景。

专业领域的录音仍可能需要针对领域词汇和转录规范进行适配。Granary v2 和 NeMo Speech 微调正是为此而生，一切从 Transcribe 背后的数据开始。

https://huggingface.co/blog/nvidia/nemotron-transcribe-granary#granary-v2-the-open-data-curation-pipeline-behind-transcribeGranary v2：Transcribe 背后的开放数据整理管线

可提示的语音模型需要训练数据具备明确无歧义的格式目标。Granary v2 (https://huggingface.co/datasets/nvidia/Granary-v2) 是 Hugging Face 上 Nemotron 语音合集 (https://huggingface.co/collections/nvidia/nemotron-speech) 和 ModelScope (https://modelscope.ai/collections/nv-community/Nemotron-Speech) 的一部分。它基于 NVIDIA NeMo Curator (https://github.com/NVIDIA-NeMo/Curator) 构建，其可复用管线准备了 Nemotron 3.5 Transcribe 训练所用的多语种语音，产出对齐的转录变体、任务标签以及可查验的质量元数据。公开清单涵盖 48 种语言、16 个源语料库、共 463,062 小时，而 Granary v1 (https://huggingface.co/datasets/nvidia/Granary) 仅覆盖 25 种语言。这些数字描述的是数据集发布规模，并非 Transcribe 的完整训练混合或采样权重。

Granary v2 为每段录音生成三种转录形式（表 1），即开发者可通过提示向 Transcribe 请求的逐字（verbatim）和清洗（clean）两种风格。除转写外，该管线还产出简短音频描述、借词的语码转换还原、基于语音的问答对、上下文 ASR 偏置词，以及附带自动质量评分的翻译。

训练目标｜示例转录 文本归一化的逐字转写｜I paid, uh, twenty-five euros. 逆文本归一化，含不流畅语｜I paid, uh, €25. 逆文本归一化，无不流畅语｜I paid €25. 表 1. 同一句话在 Granary v2 中的训练目标。

该管线分为四个可复用阶段：

• **1. 音频准备（元数据）：**切分原始或长音频，跨完整录音追踪说话人，并标注声学事件和语种。Granary v2 的数据源已完成切分，因此本次发布跳过了该阶段。
• **2. 转写（ASR）：**按语种将每段音频路由至主 ASR 和备用 ASR 模型，当主模型未通过幻觉检查时回退。人工参考转录有助于保留可信拼写，同时补充口语形式和不流畅语。
• **3. 任务标签生成（文本）：**推导转录变体，随后检查字符速率、幻觉模式以及模型与人工参考的一致性。只有通过审核的记录才会获得上下文 ASR 词和翻译。
• **4. 高保真（HiFi）：**过滤噪声、削波或包含多位说话人的片段，保留一小批高质量录音用于 ASR 之外的用途。以 VoxPopuli 数据集为例，它将 354k 小时精简为覆盖 22 种欧洲语言的 111k 小时。

fig6-granary-v2-pipeline-redesign Granary v2 整理管线示意图，跟踪一个约 12 分钟样本从原始音频到训练目标的完整流程。元数据管线通过语音活动检测和说话人分离对音频进行切分，并识别语种。ASR 管线用主模型和备用模型转写片段并保留最佳预测：“Like, Granary-v2 is, uh, making every word matter.” 文本管线推导出 tn_raw、itn_raw 和 itn_clean 转录，外加翻译、一段音频描述、一对语音问答和上下文 ASR 词。训练视图将这些打包为指令对，将“Transcribe without disfluencies“映射到“Granary-v2 is making every word matter.“(https://cdn-uploads.huggingface.co/production/uploads/68127936de624fb6f57d9989/yORas7