Whisper 介绍

# 介绍 Whisper 来源：https://openai.com/index/whisper/ Whisper 架构是一个简单的端到端方法，以编码器-解码器 Transformer 的形式实现。输入音频被分成 30 秒的块，转换为对数梅尔频谱图，然后传入编码器。解码器经过训练可以预测相应的文本标题，并混合使用特殊令牌来指导单个模型执行多个任务，例如语言识别、短语级时间戳、多语言语音转录和英文翻译。 其他现有方法通常使用较小的、配对紧密的音频文本训练数据集¹²³，或使用范围广泛但无监督的音频预训练⁴⁵⁶。由于 Whisper 在大规模且多样化的数据集上进行训练，且未针对任何特定数据集进行微调，它在 LibriSpeech 这一著名的语音识别基准上的性能不如专业模型。但是，当我们在许多不同的数据集上测量 Whisper 的零样本性能时，我们发现它的鲁棒性要强得多，错误率比这些模型少 50%。 Whisper 的音频数据集中约三分之一是非英文的，它被交替地分配了用原始语言进行转录或翻译成英文的任务。我们发现这种方法特别有效地学习语音到文本的翻译，在 CoVoST2 英文翻译零样本任务上的性能优于监督型最先进水平。