蚂蚁集团发布开源音频模型，可讨论录音内容并以语音进行回复

Reddit r/ArtificialInteligence 模型
audio-model open-source speech-to-speech mixture-of-experts multimodal mit-license

摘要

Ant 发布了开源音频模型家族 Ming-3.0 Audio，采用 MIT 许可并开放权重与代码，支持语音与文本混合输入，并可输出文字或语音回复，提供 126B 总参数的 Flash 和 9.3B 总参数的 tiny 两个 MoE 检查点。

一个人说自己对明天的演讲感到紧张，Ming-3.0 Audio 用一段口头的、令人安心的对话作为回应。在同一演示的另一个片段中，它听了一段谜语并回答“键盘”。蚂蚁集团以 MIT 许可发布了这一音频模型系列，包含权重和代码。它接受音频和文本指令作为输入，并能生成文字或语音回应。完整视频还展示了它分析财报电话会议、识别声音以及讨论一首歌曲的过程。此次发布提供了两个 MoE 检查点：Flash，总参数 126B、活跃参数 6.5B；tiny，总参数 9.3B、活跃参数 2.7B。这一发布为开发者提供了一个开放模型，能够基于用户说给它或播放给它的真实内容进行对话。输入可以是一段语音提问、一段较长的录音或非语音音频，回应则可以以语音形式返回。
查看原文

相似文章

inclusionAI/Ming-3.0-audio-flash · Hugging Face

Reddit r/LocalLLaMA

inclusionAI 发布 Ming-3.0-audio-flash，一个 126B 总参数（每步激活 6.5B）的原生音频-语言 MoE 模型，支持中英文语音识别、语音问答、长音频理解、音频推理以及可选的语音合成输出，采用 MIT 许可证。

Qwen-Audio-3.1-ASR 技术报告

Hugging Face Daily Papers

Qwen-Audio-3.1-ASR 技术报告介绍了一系列音频语言模型，在语音识别、说话人分离转录和通用音频理解方面较 Qwen-Audio-3.0-ASR 有显著提升，支持 30 种语言和 16 种汉语方言，并提供流式与非流式等多种部署变体。

@Ryrenz: 太丝滑了，Ming-3.0-tts 能拿一段参考音直接克隆声音，还能用一句话指挥它怎么念 蚂蚁集团旗下的 inclusionAI 昨天刚开源的。在 Artificial Analysis 十月的语音合成榜上，Ming-3.0-tts 的发…

X AI KOLs Timeline

蚂蚁集团旗下 inclusionAI 开源了 Ming-3.0-tts 语音合成模型，在 Artificial Analysis 十月榜单上发音稳健性以 93.2% 拿下总榜第一，可控音色为开源第一，支持音色克隆、自然语言指令控制、14 种副语言标签及四川话、粤语等多方言多语言合成。

@Chenzeze777: 发现一个开源的语音合成模型，不说一声实在过意不去。 20 亿参数，200 万小时数据训练，30 种语言+9 种中国方言直接输入文本就合成，连四川话粤语东北话都有。 最离谱的是什么？ 你用自然语言描述音色——「年轻女性，温柔甜美」——它就给…

X AI KOLs Timeline

介绍了一个开源的语音合成模型，20亿参数、200万小时训练，支持30种语言和9种中国方言，可用自然语言描述音色，3秒录音即可克隆声音，音质达48kHz，Apache-2.0协议免费商用。