标签
Mistral 发布 Voxtral 3 语音模型家族与语音代理 SDK,支持 50 多种语言的实时转录、情感自适应语音合成以及多步工具调用,可通过欧盟托管的 API 或自部署方式使用,以保障数据主权。
Gradium 发布了首个开源模型 Phonon,这是一组 31M 和 40M 参数、专为边缘/设备端运行设计的 TTS 模型,其推理栈完全开源并支持 CPU、GPU、NPU 等 10 多种后端(大多基于 Rust)。
Fish Audio 发布了 Drama 3 模型的权重,支持用自然语言指导台词演绎并可在句中切换表演方式,引发关于开源语音模型是否将迎来“DeepSeek 时刻”以及 ElevenLabs 等闭源模型护城河的讨论。
蚂蚁集团(inclusionAI/Ant Ling)发布 Ming-3.0 系列语音与音频模型,涵盖 TTS、ASR 及音频模型,已在 Hugging Face 和 ModelScope 上线,参数规模从 0.5B 到 128B 不等。
SteerTTS 是一个 23M 参数的可数值调控英文 TTS 模型,通过 z-score 控制语速、音高、响度等 12 项参数,可在 CPU 上实时运行,并附带 2825 个内置语音与实验性零样本克隆。
Breeze-TTS-2 被认为是目前最强的本地 TTS 模型,但采用非商用许可;对于可免费商用的场景,Moss TTS 1.5 是当前最佳选择。
Edge0/Audio8-TTS-Realistic-Air 是一款采用 Apache-2.0 许可的文本转语音模型,基于 Edge0/Audio8-TTS-Preview-0.6b 微调而来,支持零样本语音克隆以及涵盖 25 种以上语言(zh、en、ja、ko、de、fr、es 等)的多语言合成。
Edge0 发布了 Audio8-TTS-Realistic-0.6B,这是一款紧凑的 6 亿参数 DualAR 文本转语音模型,提升了语音真实感,支持零样本声音克隆和 23 种语言(比预览版多 12 种),并附带一个 44.1 kHz 神经音频编解码器和一个 SGLang 服务适配器。
Fish Audio 推出其最新 AI 语音模型 Drama 3,支持通过自然语言控制情感、节奏、耳语、笑声和停顿,可生成多角色场景、有声书与游戏对话,覆盖 83 种语言,并以社区许可证开放权重供自托管。
Fish Audio 发布了 Drama 3 预览版文本转语音模型,支持用自然语言、括号内标签、音效与局部标记来精确指导每一句台词的表演方式,并可通过 API 调用。
Fish Audio 发布了开源权重的 TTS 模型 Drama 3,号称全球最具情感表现力和可控性的语音合成模型,支持在句子中对单个单词进行风格和语气微调。
Show HN: PDF TO MP3 让你用已有的 OpenAI 订阅通过 MCP 服务器把 PDF 转成有声书,文档处理走订阅,语音生成按 API 用量计费。
Fish Audio 发布开源语音生成模型 Fish Audio Drama 3 的技术报告:基于 35B 参数混合专家骨干(每 token 激活 3B),支持多参考语音克隆、自然语言导演指令、多轮修订、多人场景配音、编辑式填充、长音频与流式合成,单张 H200 推理速度达 271 帧/秒。
Fish Audio 推出了 Drama 3 语音模型,支持音频修复,可以仅重新生成音频中的单个词或短语,其余部分保持不变,并支持 83 种以上的语言。
Orbora 是一款通过 Product Hunt 发布的 AI 音频产品,可为用户生成个性化的引导式音频,包括冥想、呼吸练习、ASMR 和短篇智慧分享,支持自定义语音、时长、语气、背景音和主题,并可离线收听。
一个基于 Qwen3.5 4B 的本地语音助手项目,支持技能与工具调用,无需独立 GPU,集成 Voxtral 本地语音识别与 Pocket TTS 语音合成。
SlopSoup TV 是一个 24/7 不间断的像素艺术直播电视网络,剧本、角色、配音、镜头剪辑与排播全部由 AI 模型完成,全程仅需 CPU 即可运行,日均成本约 2 美元。
该论文将'音系干扰'认定为多语言音素级语音模型中一种系统性的失效模式:模型会套用单一假设语言的音系规则,在面对语码混合或未见语言的输入时,覆盖原本正确的音素判定。为此,论文提出了一种推理阶段的修复方法——窗口化语言估计(WLE),能够在不损害单语性能的前提下,减少34%至69%的音系干扰。
作者分享了将 Fish Audio 语音服务接入 Muse 的完整流程,支持中文配音、多种音色选择、声音克隆以及调用免费的 s2.1-pro-free 模型。
开源 TTS 服务器发布:基于 OmniVoice,提供 OpenAI 兼容 API,RTX 3080 上一句话生成仅需约 0.3 秒,并支持从短参考音频克隆声音,可流式逐段处理长文本。