Voxtral 3

# Voxtral 3 来源：https://mistral.ai/news/voxtral-3/ Voxtral 3 引入了前沿的语音 Agent SDK 和最先进的语音模型，专为 50 多种语言的实时多轮对话而设计。它将精准转录、具备情感适应能力的自然语音合成以及深度工具集成融为一体，实现无缝的工作流自动化。通过 Mistral 的欧盟托管 API 或自行部署均可使用，在保障数据主权的同时，为呼叫中心、虚拟助理和免提副驾提供低延迟、类人化的交互体验。 语音转录和语音生成技术已取得长足进步，但构建能够聆听、推理、交互并处理复杂工作流的端到端语音 Agent 仍然十分困难。 一个可靠的语音 Agent 需要同时出色地完成四项任务： 1. **精准聆听**——涵盖多种语言、口音、说话人以及打断场景， 2. **深度推理**——理解用户在特定语境中的真实意图， 3. **自然表达**——富有情感和表现力地说话， 4. **执行动作**——通过互联系统完成多步骤操作。 如何让这四项能力实时、可靠地协同工作，仍是一大挑战。 为此，我们推出 Voxtral 3：一系列先进的[语音转文字](https://docs.mistral.ai/studio/audio/speech-to-text/overview)和[文字转语音](https://docs.mistral.ai/studio/audio/text-to-speech/overview)模型，以及一个语音 Agent SDK，将聆听、思考、工具调用和说话统一在一个实时流式管道中。 Voxtral 3 旨在打造自然的对话体验，涵盖呼叫中心客服、服务台、虚拟助理和免提副驾。凭借对数十种语言的支持、富有表现力的语音、复杂推理能力以及与自有工具和数据的深度集成，基于 Voxtral 构建的 Agent 能够解读细微意图、推理复杂请求，并在互联系统中执行多步骤操作。 与 Mistral 的其他模型一样，Voxtral 3 系列专为主权部署而设计。现已可通过 Mistral 的欧盟托管 API 使用，也可在自有基础设施上自行部署，让组织掌控音频的处理位置、数据的处理方式以及对话是否被保留。 ## 亮点 1. **支持 50 多种语言的精准转录**。语音转文字模型 *Voxtral Small Transcribe 3* 在多语言转录方面达到业界领先水平，能够识别谁说了什么（说话人分离），利用关键词组提升准确率（上下文偏置），并检测说话人何时结束发言，使 Agent 能够即时回应（轮次结束检测）。 2. **适应对话的自然语音**。文字转语音模型 *Voxtral Mini TTS 3* 推出全新音色，可根据对话语境调整情绪、语速和重音，支持 35 多种语言和 50 多种方言。 3. **随叫随到的类人智能**。全新的语音 Agent SDK 将聆听、推理、工具调用和说话融入实时交互体验。Agent 可在电话或网页的实时对话中检索信息、对接业务系统并完成任务。 4. **Pro Voice 实现高精度声音复刻**。对于基础声音克隆无法满足的专业场景，Voxtral 的 *Pro Voice* 适配功能仅需 30 分钟音频，即可跨语言复刻说话人的独特音色、情感范围和说话风格。 5. **语音 AI，部署在你的基础设施上**。使用 Mistral 的欧盟托管 API，或将 Voxtral 3 部署在自有基础设施上。将敏感对话保留在自身环境中，并自主决定是否保留任何音频。 立即试用 Voxtral (https://console.mistral.ai/api-keys) | 了解更多 (https://docs.mistral.ai/studio/audio/overview) ## 支持 50 多种语言，转录精度领先业界。 Voxtral Transcribe 3 (http://docs.mistral.ai/models/voxtral-small-transcribe-3-0) 在转录、说话人分离（谁在何时说话）和上下文偏置能力方面实现了重大突破。支持的语言扩展至 50 种，包括 24 种欧盟官方语言以及多种低资源亚洲和印度语系语言。 Small 版本在说话人分离和多语言转录方面均取得业界领先成绩，涵盖英语、法语和西班牙语等语言，超越了 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。[Mini 变体](https://docs.mistral.ai/models/voxtral-mini-transcribe-3-0)为 4B 参数，以 $0.0035/分钟 的价格实现快速精准的转录。 两个模型均支持上下文偏置功能，可提供关键术语和自由文本来影响转录结果，提高技术术语的召回率。这使得它们无需微调即可用于具有领域特定词汇的生产环境。 ### FLEURS 45 Forced 与 Inferred 词错误率——数值越低越好 - Forced - Inferred 4.1%4.0%4.1%4.0%4.6%4.5%6.1%4.5%4.9%4.9%6.3%5.6%16.0%14.9%Voxtral Small Transcribe 3Microsoft AI Transcribe 2Voxtral Mini Transcribe 3Gemini 3.5 TranscribeScribe v2GPT TranscribeWhisper large-v3词错误率 七个模型共同支持的 FLEURS 基准中 45 种语言的宏平均词错误率。除日语、韩语、泰语和中文使用字错误率外，其余语言均使用词错误率。数值越低越好。 Forced = 指定语言；Inferred = 自动检测语言。语言代码：AR、BN、BG、CA、ZH、CS、DA、NL、EN、ET、FI、FR、DE、EL、GU、HI、HU、IS、ID、IT、JA、KN、KO、LV、LT、MK、MS、ML、MR、NO、FA、PL、PT、RO、RU、SK、SL、ES、SV、FIL、TE、TH、TR、UK、VI ### 说话人分离 拼接最小排列词错误率——数值越低越好 18.4%18.6%19.0%20.3%23.0%30.9%38.4%Voxtral Small Transcribe 3Voxtral Mini Transcribe 3Pyannote Orchestrator (Precision 3)Microsoft AI Transcribe 2Scribe v2Voxtral Mini Transcribe 2Gemini 3.5 Transcribe拼接最小排列词错误率 公开说话人分离基准上的宏平均拼接最小排列词错误率（cpWER）：AMI-IHM、AMI-SDM、Switchboard、Switchboard CallHome、AISHELL-4。为最大限度保证 API 基线的可比性，我们使用 AMI 和 AISHELL 的 30 分钟版本。数值越低越好。 说话人分离基准，拼接最小排列词错误率（cpWER）。 ### 关键词召回率 有上下文提示与无上下文提示对比——数值越高越好 - 无上下文 - 有上下文 94.6%81.4%94.3%84.0%87.3%80.9%Voxtral Small Transcribe 3Scribe v2Gemini 3.5 Transcribe关键词召回率 Voxtral Small Transcribe 3 以品牌色突出显示。Earnings 22 基准上的关键词召回率。上下文偏置包含关键术语和随机数量的干扰词（0 至 100 个）。条形图为叠加的绝对值——外侧条形为有上下文的召回率，内侧条形为无上下文的召回率；可见区域即为上下文提示带来的提升。数值越高越好。 关键词召回率基准。Context = 提供给模型的领域特定词汇和说话人姓名。 ### Artificial Analysis 基准 词错误率——数值越低越好 Fun-Realtime-ASR-previewMicrosoft AI Transcribe 2Voxtral Small Transcribe 3Scribe v2Voxtral Mini Transcribe 3Grok Voice Transcribe 2.0Microsoft AI Transcribe 1.5StepAudio 3 ASRGemini 3.5 TranscribeVoxtral SmallGemini 3.1 Pro Preview (High)Universal-3.5 ProSolaria-3, GladiaGPT TranscribeSmallest AI PulseResonant-1Smallest AI Pulse ProInkling, Thinking MachinesQwen3.5 Omni Plus RealtimeGemini 3.1 Pro Preview (Low)Voxtral Mini Transcribe 2Soniox v5 AsyncInworld STT 1GPT-4o TranscribeEnhancedWhisper large-v3Qwen3 ASR FlashAmazon TranscribeModulate STT Batch English VFastCanary Qwen 2.5BChirp 3GPT-4o Mini Transcribecohere-transcribe-03-2026Nova 2 Pro, AmazonMeliaNova-3, DeepgramRev AIAA WER Artificial Analysis WER 指数，基于 VoxPopuli、Earnings-22 和 AgentTalk 的加权平均值。 数值越低越好。 Voxtral Realtime Transcribe 3 (http://docs.mistral.ai/models/voxtral-mini-transcribe-realtime-3-0) 是一款专为 Agent 化用例构建的实时转录模型。它在 35 多种语言中以低于 500ms 的延迟实现高质量转录，支持说话人分离和上下文偏置。 ### FLEURS 35 实时转录词错误率——数值越低越好 4.0%4.2%5.7%5.8%6.0%6.4%7.4%8.4%8.7%Voxtral Mini Transcribe 3*Gemini 3.5 Realtime TranscribeVoxtral Mini Realtime 3 · 2400 msMicrosoft AI Transcribe 2 StreamingVoxtral Mini Realtime 3 · 960 msVoxtral Mini Realtime 3 · 480 msVoxtral Mini Realtime 3 · 240 msGPT Live TranscribeScribe v2 Realtime词错误率 FLEURS 基准中 35 种语言的宏平均词错误率。除日语、韩语和中文使用字错误率外，其余语言均使用词错误率。数值越低越好。*Voxtral Mini Transcribe 3 为离线基准模型，其余模型均为实时模型。 语言代码：AR、BN、BG、CA、CS、NL、EN、ET、FI、FR、DE、EL、GU、HI、ID、IT、JA、KN、KO、LV、MK、MS、ML、MR、NO、FA、PL、PT、RO、RU、SK、ES、FIL、TE、TR 轮次结束预测为原生支持功能，综合声学和语义信息，精准判断用户何时说完。这使得低延迟语音 Agent 应用成为可能，同时最大限度降低用户被过早打断时的误截断率。 ## 它以正确的情感回应，用你或你的客户品牌的独特音色和本地方言。 Voxtral Mini TTS 3.0 (http://docs.mistral.ai/models/voxtral-mini-tts-3-0) 提供批量和实时两种模式，在 35 多种语言和 50 多种方言上实现了最出色的表达力和指令遵循能力。Voxtral Speech 3 的价格为每 100 万字符 $13，运行成本低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 等同类模型。 语音模型能更好地隐式理解上下文的语义含义，在多种情感和语言中生成自然语音。新增和改进的功能包括：基于 30 多分钟采样音频的声音克隆、自定义提示指令遵循（IF）、上下文 TTS 以及词汇库，所有这些都服务于部署中的语音可靠性目标。显式 IF 的变量包括 `emotion`、`pacing` 和 `emphasis`。 提示 让我们在这里结束这场辩论：它是 GIF。 非标准音素提示：dʒ ɪ f 所有自然的语音表达都依赖情感，情感决定了韵律、节奏、语速、重音和过渡。Voxtral TTS 能原生地解读提示文本的上下文来确定情感和声音风格，使模型天生就更擅长自然语音，无需额外指令或声音提示。 ### Voice Code Bench：性价比 由 BeSimple AI 制作的 Voice Code Bench 专注于企业客服中与数字和独特名称相关的失败场景。 - 其他 TTS - Mistral 忠实战品占比 价格（美元/百万字符）Eleven v4Eleven v4 TurboInworld TTS-2Inworld TTS-2 FlashFish Drama 3Gemini 3.8 Flash TTSQwen-Audio 3.1 FlashQwen-Audio 3.0 PlusCartesia Sonic 3.6Gemini 3.8 Flash Lite TTSDeepgram Flux TTSSpeechify Simba 3.2OpenAI gpt-4o-mini-ttsBreeze TTS 2StepFun StepAudio 2.5Voxtral TTS 越靠左上角越好。 Voice Code Bench（BeSimple AI）：300 条英文提示，每个系统 2 个声音（女声和男声）；评判模型 gemini-3.8-flash；价格来自厂商定价页面；生成于 2026-10-20。 ### 发音控制：性价比 目标单词按照其音素正确发音的音频占比 - Mistral - 其他 TTS 准确发音率 价格（美元/百万字符）Voxtral TTSInworld TTS-2Cartesia Sonic 3.6Inworld TTS-2 FlashFish Drama 3Qwen-Audio 3.1 FlashEleven v4 TurboEleven v4Deepgram Flux TTSQwen-Audio 3.0 Plus 内部评测。越靠左上角越好。没有文档化发音控制功能的系统列在数据中，未绘制在图表中。 300 条英文句子，每条含一个罕见或自造词（150 条简单、150 条困难），每个系统 2 个声音；评判模型 gemini-3.8-flash 听取音频并对照目标 IPA 发音；价格来自厂商定价页面；生成于 2026-10-20。 ### 多语言：性价比 11 种语言的平均评分，每种语言和系统各 1 个母语声音 - 其他 TTS - Mistral 平均评分（11 种语言）价格（美元/百万字符）Eleven v4Eleven v4 TurboCartesia Sonic 3.6Fish Drama 3Gemini 3.8 Flash Lite TTSGemini 3.8 Flash TTSInworld TTS-2Inworld TTS-2 FlashOpenAI gpt-4o-mini-ttsVoxtral TTS 内部评测。越靠左上角越好。支持语言少于 11 种的系统列在数据中，未绘制在图表中。 377 条用于发布的提示，11 种语言，各语言平均评分的未加权均值，1 到 5 分制；评判模型 gemini-3.8-flash；价格来自厂商定价页面；生成于 2026-10-20。 ### 表现力英文：性价比 one_eval 上的平均评分，237 条用于发布的提示 - 其他 TTS - Mistral 平均评分 价格（美元/百万字符）Eleven v4Cartesia Sonic 3.6Eleven v4 TurboInworld TTS-2Gemini 3.8 Flash Lite TTSGemini 3.8 Flash TTSInworld TTS-2 FlashFish Drama 3Speechify Simba 3.2Qwen-Audio 3.1 FlashBreeze TTS 2OpenAI gpt-4o-mini-ttsStepFun StepAudio 2.5Deepgram Flux TTSQwen-Audio 3.0 PlusVoxtral TTS 内部评测。越靠左上角越好。 表现力英文（one_eval）：237 条用于发布的提示，每个系统 2 个声音（Voxtral TTS：Sarah 和 James），1 到 5 分制；评判模型 gemini-3.8-flash；价格来自厂商定价页面；生成于 2026-10-20。 ### 展示 Voxtral 在表现力、数字和独特名称上的逐级提升。 提示 感谢致电 Mistral！我了解到您在登录 AI Studio 时遇到了困难。我能确认一下您的邮箱地址吗？我这里是 [email protected]，对吗？ ### 35 种语言、50 多种方言，语音听起来原汁原味。 Voxtral TTS 支持超过 **35 种语言**和地方方言。我们的多语言评测遵循发音差异、正式与非正式语体、拼写、冗长度以及本地化惯例（时间、日期、温度、地址、货币）等方面的方言差异。 Voxtral 3 多语言语音库 语音预设提供 18 种语言：阿拉伯语（阿联酋、现代标准）、巴西葡萄牙语、加泰罗尼亚语、中文（普通话）、荷兰语、英语（美式、英式）、法语（法国）、德语、希腊语、印地语、意大利语、韩语、挪威语、俄语、西班牙语（西班牙）和越南语。 ## 语音 Agent 掌控整个对话。 Voxtral 3 推出了一个基于 LiveKit 构建的语音 Agent SDK，将语音输入、推理和语音输出作为一条流式管道运行。Voxtral Mini Transcribe Realtime 3 负责聆听并检测来电者何时说完，一个通用模型——如 [Mistral Small](https://docs.mistral.ai/models/mistral-small-4-0-26-03)——负责推理和调用工具，Voxtral Speech 3 根据对话至今的语调进行回复。各阶段无需等待前一阶段完成，每个回合在一秒内即可完成，来电者插话时 Agent 也会立即停止说话。 通话过程中，Agent 可通过函数调用、网络搜索和自有系统检索来验证来电者身份、查询账单或预约时间。它通过 SIP 进行接听和拨打电话，通过 WebRTC 在浏览器和应用中运行，并可连接到你现有的电话、IVR 和呼叫中心软件。 每个阶段都是独立模型，因此你可以更换 LLM、声音或语言，而无需重写 Agent，并可在 Mistral 的欧洲 API 或自有基础设施上运行整套系统。 ## 快速开始 Voxtral 3 现已通过 Mistral API 提供，托管于我们的欧洲和