Microsoft 首个流式转录模型在 Artificial Analysis 上登顶第一(4 分钟阅读)
摘要
Microsoft AI 发布首个流式转录模型 MAI-Transcribe-2-Streaming(在 Artificial Analysis 上排名准确度第一,支持 60 种语言、100ms 部分结果延迟),同时推出 MAI-Voice-2.1 与 MAI-Voice-2.1-Flash 语音合成模型,面向低延迟对话式语音智能体场景。
Microsoft 的 MAI-Transcribe 和 MAI-Voice 模型提供准确、快速、低成本且位居榜首的音频理解与生成能力。公司现已推出 MAI-Transcribe-2-Streaming 以及 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash,为用户提供快速流畅的构建模块,在不牺牲准确度与音质的前提下打造对话式体验。MAI-Transcribe-2-Streaming 支持 60 种语言的低延迟实时转录,并支持自动、连续的语言检测。MAI-Voice-2.1 支持 23 种语言和 26 个地区,让用户在所有场景下保持统一的声音形象。
查看缓存全文
缓存时间:
2026/10/02 14:57
# 我们的首款流式转录模型在 Artificial Analysis 登顶 | Microsoft AI
来源:https://microsoft.ai/news/our-first-streaming-transcription-model/
模型
MAI-Transcribe 与 MAI-Voice 模型:准确、快速、低成本,在榜单上名列前茅的音频理解与生成能力,助力打造最出色的对话式语音智能体。
粉色分号以漩涡状排列,背景为蓝色,点缀着柔和的光轨虚影。
在今天推出排名第一的 MAI-Transcribe-2-Streaming 的同时,我们还发布了两款全新语音模型:MAI-Voice-2.1 以及我们的极速版本 MAI-Voice-2.1-Flash。
它们共同为用户提供快速、流畅的构建模块,用于创造对话式体验,同时在准确性和语音质量上毫不妥协。
**认识 MAI-Transcribe-2-Streaming:实时转录,真的很快。**
MAI-Transcribe-2-Streaming 可在 60 种语言中提供低延迟的实时转录,同时支持自动、连续的语言检测。
在 Artificial Analysis 上,它在*最终*与*部分*转录的准确率方面均排名第一。在准确率-延迟评估中,我们位于帕累托前沿,表明更高的准确率不必以巨大的延迟代价为换取。
它不会等对方说完才返回文字,而是在收到音频后仅 100 毫秒出头就生成第一个假设(称为"partial",即部分转录)。随后它会随着更多上下文的到达而不断修正,并立即生成稳定的转录文本。这些部分转录使语音应用能够在说话者尚未说完时就采取行动。
例如,语音智能体可以在句子中间就开始推理或调用工具,实时字幕可以在人们说话的同时出现。对于实时听写或字幕等用例,我们的内部评估显示,词语出现在转录中的速度**比我们最接近的竞争对手快 2 倍**。
MAI-Transcribe-2-Streaming 的推出价为**每小时音频 0.54 美元,该价格将持续到今年年底**。
**MAI-Voice-2.1:无缝支持多语言体验**
随着 MAI-Voice-2.1 的发布,我们推出了迄今最强大的多语言文本转语音模型。
我们已将模型扩展至支持**23 种语言和 26 个地区**,并让同一个"声音"能以真正地道的口音说所有语言。只需让它说英语……然后中文……然后德语……说话者仍是同一个人,自然地融入当地表达方式,而不是把同一种口音生硬地拖到各种语言里。
这意味着你的品牌可以处处保持同一个声音:辅导应用可以在课程中随意切换语言而无需更换老师,多语言助手可以用提问所用的语言作答,同时听起来始终是同一个声音。
价格为**每 100 万字符 22 美元**。
**MAI-Voice-2.1-Flash:为高并发而生**
MAI-Voice-2.1-Flash 支持的语言和跨语言说话能力与 MAI-Voice-2.1 相同,但针对高并发、延迟敏感的工作负载进行了全面升级。它可以生成**45 秒音频**,端到端延迟仅为**150 毫秒**。
其模型推理速度快 55%,成本比同类模型低约 60%,并以**每 100 万字符 15 美元**的价格提供了同级别中最具竞争力的定价。
延迟、质量和成本效率的这种组合,使 Flash 成为 MAI-Transcribe-2-Streaming 的天然搭档,共同构建自然、低延迟的语音智能体体验。
两款语音模型均支持仅用几秒钟的参考音频进行跨所有支持语言的声音克隆,让客户更容易使用自己品牌的声音。同时,它们内置了同意机制护栏,防止滥用。
**形成闭环**
语音智能体是一个闭环:它必须倾听、理解、决策,然后开口说话,并且要全部在人类仍能将这次互动体验为*对话*的时间窗口内完成。每个组件要么为你争取这个窗口里的时间……要么在消耗它。
将 MAI-Transcribe-2-Streaming 与 MAI-Voice-2.1-Flash 结合使用,能在两端同时赢得时间。省下的时间让你的智能体有更多空间去推理、调用工具、核对答案,同时保持对话以人类对话般的速度自然推进。
**由 MAI 驱动的语音智能体,已在投入实战**
应用案例不断扩展,但开发者今天就可以构建:
- **客服智能体**:在用户说话的同时转录请求,在呼叫者说完之前就开始行动,并用自然语音作答
- **多语言助手**:自动检测所讲语言,并以相同的声音和地道的口音,在 MAI-Voice 支持的 23 种语言中的任何一种中回复
- **互动学习与媒体**:在所有支持的语言中,使用不同说话者进行辅导、角色扮演、模拟演练、旁白和对话式内容创作
**立即开始构建**
为了展示这些模型在实际智能体中的协同工作,我们在 MAI Playground 中构建了 Chatter,一个全新的演示。
## 与我们共建未来
我们是一个精简、高效的实验室,汇聚了世界上最具才华的一批头脑。我们在 MAI 有着令人振奋的算力规划,正在快速且广泛地扩展。我们还有一个自己坚信的宏大使命。我们也很幸运能与出色的产品团队合作,让我们的模型有机会触达数十亿用户并创造巨大的积极影响。如果你是一位才华出众、雄心勃勃且谦逊低调的人,你会在这里如鱼得海——加入我们,一起打造下一代模型!
查看所有职位 (https://microsoft.ai/careers/#join-the-team)
## 更多故事
相似文章
TLDR AI
微软正在其 MAI Playground 上以早期访问形式测试一款新的原生实时语音模型 MAI Realtime。该全双工系统支持多种语言、低延迟和可配置的轮流对话,定位为 OpenAI GPT Live 和 Sesame 的竞争对手。
TLDR AI
微软宣布 MAI-Image-2.5-Pro 和 MAI-Voice-2-Flash 公开预览,这是其最新专为图像和语音场景构建的生成式 AI 模型,现已上线 Azure AI,并为必应图像创建器等微软产品提供支持。
YouTube AI Channels
OpenAI 发布 GPT-Transcribe 和 GPT-Live-Transcribe 两款转录模型,分别针对完整文件批处理与实时流式场景,支持 57 种语言、自定义词汇表及多语言自动切换,在口音和噪音等困难场景中表现更优。
Reddit r/LocalLLaMA
微软发布VibeVoice-ASR-Streaming,这是一款统一的流式自动语音识别模型,能够转录说话人身份,并支持自定义热词和10种语言。
TLDR AI
xAI 发布 Grok Voice 3.0,号称全球最智能的语音到语音模型,在 Artificial Analysis 语音到语音指数上以 86.9 分排名第一,延迟低于一秒且成本更低,已广泛应用于 Tesla 和 SpaceX 的日常客服场景,并同步开放 API。