GRAFT：用于零样本文本到语音中细粒度发音的嫁接参考音频

# 用于零样本文本转语音中精细发音的嫁接参考音频
来源: https://arxiv.org/html/2607.02633
Antonis Asonitis¹,²,*, Francesco Verdini¹,³,*, Aref Farhadipour¹,⁴, Vijeta Avijeet¹, Pierre-Edouard Honnet¹, Marzieh Razavi¹, Juan Pablo Zuluaga Gomez¹

###### 摘要

我们提出了 GRAFT，一种用于文本转语音神经编解码器语言模型的逐词发音条件控制机制。现有系统达到了高可懂度和自然度，但继承了文本的歧义性，会读错稀有专有名词、外来词和技术术语。即使是音素条件模型也无法为逐词发音提供直接的声学控制手段。GRAFT 通过一个简短的语音样本片段来控制所选词的发音，该片段使用模型自身的语音分词器进行编码，并与提示中该词的位置绑定。在训练数据构建过程中进行的语音转换，将提示语音与目标语音分离，因此提示可以来自任意音色，而输出保持目标音色。在一项盲听英语研究中，人类评分员以明显优势将 GRAFT 评为第一，认为其对困难词的处理最接近该词的参考录音。在五项语言客观基准测试中，GRAFT 将目标词的音素错误率相比于纯文本骨干模型降低了 22–39%，并在目标词发音上优于竞争性的开源零样本系统（包括音素条件和文本条件），同时保持了说话人相似度和自然度。

## I. 引言

早期的端到端文本转语音系统将音素序列映射为波形或梅尔频谱图[38, 35]。显式的语音学中间表示使学习问题变得适定，因为每个音素对应于一个较小且基本一致的声学实现集合。

最近的系统使用神经音频编解码器产生的离散语音 token 词汇表来扩展预训练的大语言模型，并在配对的文本和语音上继续训练[42, 47, 33, 10]。继承自语言模型的强大文本先验加速了收敛，并提高了常见词的可懂度。缺点是文本是一种高度压缩的语音表示形式。拼写形式确定了词的标识，但在多个发音都有效的情况下，它低估了韵律、语调以及具体发音。对于专有名词、品牌名、外来词和技术术语，文本先验通常无法忠实对齐目标声学特征。

参照图注 图 1：GRAFT 的推理过程。一个单词（“GRAFT”）的语音示例，来自任意说话人，经过静音切除（VAD）、编码为编解码器 token，并放置在该词在文本提示中的位置。在独立的目标说话人嵌入条件下，GRAFT 以给定的发音合成目标语音中的句子。

同时允许文本和音素的模型恢复了一些控制，但并未完全解决问题。大多数发音控制依赖基于规则的字母到音素（G2P）词典[4, 12]，这些词典假设每个词有一个标准发音，无法捕捉允许多种有效实现的词。这样的词典对未见过的词（即对稀有名称和外来词最重要的零样本情况）泛化能力也很差。神经音素识别器如 ZIPA[49] 和 Wav2Vec2-Phoneme[45] 则学习声学到语音的映射，能够泛化到新词，并可以将任意录音转换为音素序列，以提示音素条件的 TTS。尽管这种方法提供了更严格的控制，但这些音素化器丢弃变音标记的事实意味着注入音调或韵律的能力再次丧失。

一个更直接的选择是以模型架构已经接受的最少压缩表示（即模型自身的语音 token）为条件。控制一个词的发音仅需要该词来自任意说话人的简短录音。这不需要任何语音标注或词典条目，因此非专家只需说出该词即可规定发音，并且声学示例还可以保留符号转录所丢弃的重音和声调。然后 TTS 应能以目标说话人音色渲染完整的目标短语，同时保留所选词的给定发音。我们将这种方法称为 *GRAFT*（图 1）。

实现这一点要求模型将参考录音中的发音与其说话人身份分离。参考片段同时包含两者，但只有发音应该传递，而目标语音来自另一个单独的参考。这种分离源于在语音转换对上的训练，其目标迫使模型跨说话人传递内容，并忽略源说话人的身份。一旦学会，相同的分离使得模型能够接受来自任意说话人的逐词提示，并以不同的目标语音渲染目标短语。

我们的贡献是：

- • GRAFT，一种用于文本转语音神经编解码器语言模型的逐词发音控制，无需额外参数或架构更改，其中单词的语音示例替换其文本 token，并在五种不同语言中以任意目标语音指导其发音。¹¹¹示例见 https://graft-tts.github.io/graft/
- • 语音转换的训练数据是关键使能因素，它将提示的说话人与其发音分离，使得来自任意语音的提示都能以目标语音呈现。
- • 一个多语言困难词基准（五种语言，开放许可的独立参考），附带发布的检查点、代码和评估工具。

## II. 相关工作

### II-A. 神经编解码器语言模型 TTS

主导范式将语音合成视为对离散编解码器 token 的下一个 token 预测，由 VALL-E[42] 确立并被许多后继者扩展[39, 17, 22, 10, 44, 47, 33]。大多数复用预训练的纯文本 LLM 并扩展其词汇表加入编解码器索引[47, 33]，这既是强大文本先验的来源，也是 GRAFT 所针对的发音失败模式的原因。它们通过以简短的声学示例为条件进行零样本语音克隆[18]。GRAFT 在不变架构下继承了这一点，并在推理时添加了一个逐词音频条件槽，无需新参数：提示由模型现有的编解码器分词器编码并拼接到提示中，除额外几个 token 外，推理成本不变。与我们的机制最接近的是 WESCON[43]，它在选定的词处拼接一个参考声学提示来控制其情感表达。GRAFT 将类似的逐词条件用于发音，并添加了语音转换训练，使得示例可以来自与目标不同的说话人。

### II-B. 音素条件 TTS

音素条件是发音控制的经典接口，从序列到序列模型[38, 35, 19, 20]到将音素混合到提示中的神经编解码器语言模型[17, 22]都有应用。所有这些都使用固定的音素词汇表[4, 12]，这限制了覆盖率。改进的文本端前端[15, 50]能更准确地预测发音，但仍然从固定库存中发出符号。逐词修复读取外部词典条目[14]或编辑模型针对目标词的权重[41]，但两者都需要书面的语音规范。GRAFT 通过以所需发音的实例而非符号转录为条件，消除了这一限制。

### II-C. 强制对齐

强制对齐根据转录定位词边界，通过 HMM/GMM 模型（如 Montreal Forced Aligner[27]）或基于 CTC 的神经对齐器[21]实现。第二类方法避免使用专门的对齐模型，而是从现有 ASR 或 TTS 解码器的交叉注意力中恢复时序：将每个输出 token 与音频帧相关联的注意力权重通过动态时间规整折叠成单调路径，如 Whisper 的原生词时间戳和工具 whisper-timestamped[26] 以及 stable-ts[16]；混合变体则将来自独立 CTC 模型的时序迁移到转录上[3]。GRAFT 仅在数据准备中使用 Qwen3-TTS 对齐器[33]，以切分每个词的参考片段。推理时不需要任何对齐，此时输入已经是隔离的。

### II-D. 语音转换

语音转换在保留内容的同时以目标说话人音色呈现话语，最近的零样本系统包括 kNN-VC[2]、扩散方法[29]以及我们在数据准备中使用的 Seed-VC[24]。其说话人-内容因子化通过信息瓶颈[31]、自监督内容单元[32]和扰动训练[8]等进行了研究。先前的工作将语音转换作为目标。GRAFT 仅在训练数据构建中使用它，将每个提示转换为不同的说话人，这教会 GRAFT 复制单词的发音和韵律，同时忽略提示说话人，因此在推理时参考可以来自任意音色。在这项工作中，我们表明这种分离对于实现自然听感的语音是必要的。

## III. 方法

### III-A. 预备知识

基础系统是一个神经编解码器语言模型，它自回归地从序列化的文本提示预测 N 编解码器 token。我们将 token 序列表示为 c ∈ Z^(T×N)（T 帧，f Hz）。我们全程使用 Qwen3-TTS-12Hz-0.6B-Base[33]（N=16，f=12.5 Hz）。它公开了编解码器编码器 Enc(·)（c = Enc(a) 作用于 24 kHz 波形）、解码器 Dec(·)、文本分词器和特殊 token。GRAFT 使用两个槽位定界符：⟨Q⟩/⟨/Q⟩（风格参考）和 ⟨B⟩/⟨/B⟩（逐词嫁接），以及占位符 □。

表 I：按语言划分的训练混合。计数汇总了每种语言输入的语料库，并使用 k（10³）和 M（10⁶）。语料库：VCTK[46]（V）、LibriTTS[48]（L）、MLS[30]（M）和 Common Voice[1]（C）。“#Spk” 是唯一说话人 ID，“#Utt” 是预处理后的语句数量。
| 语言 | 语料库 | #Spk | 小时 | #Utt |
|------|--------|------|------|------|
| EN   | V, L, C | 12.9k | 1.5k | 1.1M |
| DE   | M, C | 0.8k | 2.0k | 0.9M |
| FR   | M, C | 9.0k | 1.9k | 0.8M |
| ES   | M, C | 4.9k | 1.4k | 0.6M |
| IT   | M, C | 1.5k | 0.5k | 0.2M |
| 总计 | — | **28.4k** | **7.3k** | **3.2M** |

### III-B. 逐词音频绑定

GRAFT 以元组 (t, r, {(w_k, a_k)}^K_{k=1}) 为条件，其中 t 是目标文本，r 是目标语音参考片段，每个 (w_k, a_k) 是一个目标词与其对应的孤立音频录音配对。参考片段和逐词片段由基础模型自身的编解码器编码：c^ref = Enc(r)，长度为 T_r；c^(k) = Enc(a_k)，长度为 T_k。

设目标文本为 t = m_1 ... m_M，G = {i: m_i = w_k 对于某个 k} 索引嫁接的词。提示连接一个固定的角色前缀、风格槽 [⟨Q⟩, □^(T_r), ⟨/Q⟩] 以及一个主体，其中每个未嫁接的词 (i ∉ G) 保留其文本 token，而每个嫁接的词 (i ∈ G) 使用嫁接槽 [⟨B⟩, □^(T_k), ⟨/B⟩] 代替其文本。因此嫁接的词由其编解码器 token 表示，而不是其文本，并且从不附加其文本。占位符文本嵌入在对应位置被替换为编解码器嵌入 e^codec_t = Σ_{n=0}^{N-1} E_n(c[t, n])，在所有 N=16 个残差编解码书上求和，其中 E_n 是第 n 个编解码书的嵌入表。然后说话者变换器基于这个复合输入自回归生成剩余的编解码器帧。

### III-C. 训练数据构建

参照图注 图 2：训练数据构建。从说话人 A 的话语中，我们用不同的语音制作语音转换副本，强制对齐以找到词边界，并将目标词（“Nguyen”）用编解码器重新编码为逐词嫁接。该嫁接替代提示中该词的文本，模型被训练预测*原始*说话人 A 话语的编解码器。由于嫁接与目标语音不同，模型学会复制发音而忽略提示说话人。

我们构建与 GRAFT 推理时使用相匹配的训练样本，仅使用表 I 中公开的朗读语音和众包语料库，无需额外人为提供的音频。

对于每个训练话语 u，带有原始波形 a^u 和转录 t^u，我们生成一个并行的语音转换版本 â^u = SeedVC_D(a^u, r^u)，其中 r^u 是来自随机其他说话人的参考片段，Seed-VC[24] 用于将提示语音转换为目标语音。