TontaubeV1-Verbalizer:面向小型语音模型的超快速开源言语化模型
摘要
TontaubeAI 发布了 TontaubeV1-Verbalizer,这是一款基于 Qwen3 1.7B 骨干模型微调、采用 Apache 2.0 许可证开源的大语言模型文本口语化模型,可将书面英语文本转换为适合小型 TTS 模型的口语形式文本,在 RTX 3090 上处理一份 20,000 字符的文档耗时不到 2 秒。
一周前,我们发布了开放权重的文本转语音模型(https://huggingface.co/TontaubeAI/TontaubeV1.1-int4)。现在,我们还推出了一个采用 Apache 2.0 许可证的开源口语化转换模型。对于文本转语音任务,文本的书写形式往往与实际读法不同(例如“$5”“Dr.”或“9:05 a.m.”)。只需训练一个规模大得多的 TTS 模型,就能缓解这一问题,因为它开箱即用便能处理这些情况。然而,许多较小的模型无法妥善处理复杂的字符序列。现有的口语化转换方法要么基于规则,错误很多,要么速度太慢、成本太高(例如把所有内容都交给大语言模型)。为此,我们构建了一个基于大语言模型的口语化转换模型,在现代 GPU 上运行速度极快。它能将英文文本转换成干净、适合朗读的文本。具体来说,我们对 Qwen3 1.7B 基础模型进行了微调,并采用了自定义的分词技术。它能在 RTX 3090 GPU 上用不到 2 秒的时间转换一份包含 20,000 个字符的文档。以下是几个示例:书面文本 口语文本 耗时(RTX 3090)价格是 $5。价格是五美元。4 毫秒 Lee 博士花 $5 买了票,并在第二幕开始前离开。Lee 博士花五美元买了票,并在第二幕开始前离开。10 毫秒 Q3 营收增长了 14%,达到 $2.5M,即超出计划。第三季度营收增长了百分之十四,达到二百五十万美元,也就是说超出计划。19 毫秒 2025 年的预订额为 $27,040,500,见第 XII 章。二零二五年的预订额为两千七百零四万零五百美元,见第十二章。22 毫秒 委员会于上午 9:05 开会,并同意将投票推迟到春季。委员会于上午九点零五分开会,并同意将投票推迟到春季。27 毫秒 RTX 5090 在 2:07:19 内以 16 kHz 和 88°C 渲染了 5090 帧。RTX 五零九零在两小时七分十九秒内以十六千赫兹和八十八摄氏度渲染了五千零九十帧。84 毫秒 它会结合上下文解读,因此相同的字母可能有不同的读法:“Dr.”可以读作 Doctor(博士或医生)或 Drive(路),而“IV”在表示静脉输液时仍读作“IV”,在表示章节编号时则读作“Four”(四)。它还能处理链接、代码、表格和残留的 Markdown 标记。它可以独立运行,适用于任何文本转语音系统:git clone https://github.com/craitech/tontaube.git cd tontaube uv run tontaube verbalize report.txt uv run tontaube verbalize --serve 它需要一块 NVIDIA GPU 和约 2.5 GiB 显存。在 RTX 3090 上,处理一个句子需要几毫秒到约十分之一秒,处理一份包含 20,000 个字符的报告则需要约 2 秒。我们正在努力,争取尽快发布可在 CPU 上快速运行的版本。目前它仅支持英语,而且作为生成式模型,仍然可能出错。模型卡展示了它如何读取数字、日期、金额、单位等内容,也说明了它的不足之处。我们希望在下一个版本中解决所有这些问题。模型:https://huggingface.co/TontaubeAI/TontaubeV1-Verbalizer 代码:https://github.com/craitech/tontaube
相似文章
TontaubeV1 - 本地长篇生成开放语音合成模型发布
TontaubeV1 是一个开放权重的语音合成模型,专为本地长篇生成发布,支持英语和德语,具备零样本语音克隆功能,并可在 GPU 上实现低延迟推理。
AuroraTTS-100K 发布!
AuroraAI-Research 发布了 AuroraTTS-100K,这是一个极小的英语文本转语音模型,推理参数仅为 95,638 个。该模型使用可微分的谐波+噪声 DSP 合成器(而非神经声码器)在 LJSpeech 上从零开始训练,实现了 UTMOS 3.53 的评分,且推理速度非常快。
n4ze3m/tiny-voca
tiny-voca 是一个仅 4.5M 参数的轻量英文文本转语音模型,包含两个美式英语音色,在四线程 CPU 上运行速度约为实时的 70 倍,提供 PyTorch 与 ONNX 权重、代码及浏览器试用空间。
使用 OmniVoice 打造的 OpenAI 兼容 TTS 接口:0.3 秒响应时间
开源 TTS 服务器发布:基于 OmniVoice,提供 OpenAI 兼容 API,RTX 3080 上一句话生成仅需约 0.3 秒,并支持从短参考音频克隆声音,可流式逐段处理长文本。
@TeksEdge: 腾讯开源了一个小型1.5B AI模型,能替代多个独立音频工具,击败Qwen3-TTS!Thi…
腾讯开源了一个名为AuK的1.5B参数AI模型,可以替代多个音频工具,通过自然语言指令处理TTS、语音克隆和降噪等任务。