论文页面 - SwanVoice：面向独白和对话的表现力丰富长文本零样本语音合成

来源：https://huggingface.co/papers/2605.30993

摘要

提出了一种名为SwanVoice的零样本文本转语音系统，通过结合VAE、流匹配DiT和扩散后训练技术，解决了表现力丰富的长文本多说话人对话合成问题。

零样本文本转语音 (https://huggingface.co/papers?q=Zero-shot%20text-to-speech)(TTS) 在单说话人合成方面已取得显著进步，但表现力丰富的长文本多说话人对话仍然困难重重。常见的变通方法是使用独白TTS (https://huggingface.co/papers?q=monologue%20TTS) 模型逐轮合成，再将结果拼接起来。这种方法增加了推理成本，且常常破坏轮次之间的声学一致性、对话连贯性和情感连续性。最近的对话TTS (https://huggingface.co/papers?q=dialogue%20TTS) 系统已开始应对这一场景，但仍难以同时保持表现力连贯性、可控说话人切换和独白质量。我们提出了SwanData-Speech和SwanVoice。SwanData-Speech从野生动画中构建独白和对话语料库，使用SwanForced Aligner (https://huggingface.co/papers?q=Forced%20Aligner) 进行停顿感知的词级对齐，并使用RobustMegaTTS3处理发音困难案例。基于这些数据，SwanVoice是一个面向1-4个说话人的零样本TTS模型，结合了25 Hz VAE (https://huggingface.co/papers?q=VAE)、带有停顿感知符号 (https://huggingface.co/papers?q=pause-aware%20symbols) 和拼音替换 (https://huggingface.co/papers?q=pinyin%20substitution) 的原始文本条件，以及带有说话人轮次条件 (https://huggingface.co/papers?q=speaker-turn%20conditioning) 的流匹配DiT (https://huggingface.co/papers?q=flow-matching%20DiT)。训练从独白语音开始，经过混合数据和真实对话数据，然后使用带有音素级别和说话人相似度奖励的DiffusionNFT后训练。在SwanBench-Speech上，SwanVoice在独白和对话场景中均获得了比所有评估的开源基线更高的丰富度和层次得分，而内容准确性仍是主要局限。音频演示可在 https://swanaigc.github.io//#swanvoice 获取。

查看arXiv页面 (https://arxiv.org/abs/2605.30993)查看PDF (https://arxiv.org/pdf/2605.30993)项目页面 (https://swanaigc.github.io/#/swanvoice)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.30993)

在你的智能体中获取此论文：

hf papers read 2605.30993

没有最新版CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

没有模型链接此论文

请在模型README.md中引用arxiv.org/abs/2605.30993以从本页链接它。

引用本文的数据集0

没有数据集链接此论文

请在数据集README.md中引用arxiv.org/abs/2605.30993以从本页链接它。

引用本文的Space0

没有Space链接此论文

请在Space README.md中引用arxiv.org/abs/2605.30993以从本页链接它。

包含本论文的收藏集0

没有收藏集包含此论文

请将此论文添加到收藏集 (https://huggingface.co/new-collection) 中以从本页链接它。