介绍 Falcon ASR

来源：https://huggingface.co/blog/tiiuae/falcon-asr

Falcon ASR：阿拉伯语与英语语音识别 (https://cdn-uploads.huggingface.co/production/uploads/671a3e44cf97dc64441e170a/KlCZJ9xrl4-O7A0RdA0vA.png)

English (https://huggingface.co/blog/tiiuae/falcon-asr#introducing-falcon-asr) · العربية (https://huggingface.co/blog/tiiuae/falcon-asr#arabic)

阿拉伯语词错率：20.92% · 参数量：1.6B · 阿联酋方言词错率（TII 评测）：22.73%

我们正式推出 Falcon-ASR，这是一款拥有 16 亿参数的阿拉伯语语音识别模型，特别针对阿联酋方言进行了优化。该模型由阿布扎比的技术创新研究院（TII）开发，同时支持英语、法语、西班牙语和葡萄牙语。

在我们的评测中，Falcon-ASR 在六个阿拉伯语测试集上的平均词错率（WER）达到 20.92%，而我们所参考的排行榜快照中已发表的最佳成绩为 23.17%。在我们内部的阿联酋方言评测中，Falcon-ASR 在所有对比系统中取得了最低的词错率和字错率。

我们还支持词级时间戳，可将每个转录词与音频中的对应位置关联起来。

体验 Falcon ASR → (https://huggingface.co/spaces/tiiuae/falcon-asr-demo)

识别阿拉伯语语音

阿拉伯语语音因地区、说话人和录音场景而异。能够处理正式新闻播报的模型，在面对阿联酋方言对话或电话录音时可能表现不佳。此外，方言阿拉伯语的转录数据资源也远少于现代标准阿拉伯语（MSA），这使得训练和评测更加困难。

我们使用阿联酋方言、现代标准阿拉伯语、其他海湾地区及其他阿拉伯语方言，以及英语对 Falcon-ASR 进行了训练。我们的目标是转录人们日常口语中使用的词汇，包括方言形式以及语言之间的切换。

阿拉伯语基准测试结果

由 ELM 研究中心维护的通用阿拉伯语语音识别公开排行榜（https://huggingface.co/spaces/elmresearchcenter/open_universal_arabic_asr_leaderboard）按六个测试集上等权重平均词错率对各系统进行排名，同时报告字错率（CER）。两项指标均为越低越好。我们对 Falcon-ASR 的评测遵循该协议。

falcon-asr-arabic (https://cdn-uploads.huggingface.co/production/uploads/671a3e44cf97dc64441e170a/NYwM1xdaK1aiCwnEGz4q5.png)

WER = 词错率（Word Error Rate）；CER = 字错率（Character Error Rate）。数值越低表示性能越好。

我们在相同的六个基准测试集上使用排行榜固定的样本清单对 Falcon-ASR 进行了评测。竞品数据取自排行榜上已公布的平均成绩，核实时间为 2026 年 9 月 30 日。Falcon-ASR 的平均词错率比该快照中已发表的最佳成绩低 2.25 个百分点。

阿联酋方言语音评测

公开的评测数据中已包含阿联酋方言：Casablanca 数据集（https://huggingface.co/datasets/UBC-NLP/Casablanca）包含阿联酋子集。在此基础上，我们通过内部评测对更多阿联酋方言和海湾地区语音进行了测试，使用预留录音和人工校验的参考转录，以评估在公开阿联酋子集之外的转录准确性。

在我们的内部阿联酋方言评测中，Falcon-ASR 达到了 22.73% 的词错率和 10.19% 的字错率：

falcon-asr-emirati (https://cdn-uploads.huggingface.co/production/uploads/671a3e44cf97dc64441e170a/Un8dfcA_GCcu2orNpkTA4.png)

Falcon-ASR 在本次对比的系统中取得了最低的词错率和字错率。其词错率比排名第二的 Qwen3-Omni 低 4.07 个百分点。结果表明，该模型在词级和字级转录准确性方面均有提升。

针对不同录音条件的训练

我们的训练数据包含了背景噪声、重叠语音、音乐、房间混响以及电话线路效果，同时还对语速和音调进行了变换。阿联酋方言录音同样经过了这些处理，使模型能够应对会议、通话及其他日常录音中可能遇到的各种条件。

英语及其他语言

Falcon-ASR 使用相同的模型权重即可转录英语。在 Hugging Face 开放语音识别排行榜所采用的七个公开英语测试集上，我们的评测结果显示平均词错率为 5.74%。

falcon-asr-english (https://cdn-uploads.huggingface.co/production/uploads/671a3e44cf97dc64441e170a/jYVEru5FjM_UeCsJtRE9E.png)

该模型还支持法语、西班牙语和葡萄牙语。全部五种语言使用同一套权重，无需设置语言标识。输出为使用所识别语言的文本转录。

模型基础

Falcon-ASR 基于我们在 Falcon3-Audio 方面的工作构建。Falcon3-Audio 的架构和训练方法详见论文《Competitive Audio-Language Models with Data-Efficient Single-Stage Training on Public Data》(https://arxiv.org/abs/2509.07526)。

体验 Falcon ASR

我们的 Hugging Face 演示空间（https://huggingface.co/spaces/tiiuae/falcon-asr-demo）允许你体验 Falcon-ASR 并探索其语音转录能力。API 接入和原生应用正在计划中。欢迎使用你自己的录音来体验该演示。

致谢

我们感谢 Falcon-Emirati 模型团队在阿拉伯语基础模型方面的支持。关于他们的最新工作，请阅读 Falcon-Emirati 博客文章（https://huggingface.co/blog/tiiuae/falcon-emirati）。

我们还向 Mikhail Lubinets 表示诚挚感谢，感谢他在计算基础设施方面给予的持续支持。