SPARCLE：基于对比语言嵌入的说话者感知对齐表示

# SPARCLE：通过对比语言嵌入实现说话人感知的对齐表示
来源：https://arxiv.org/html/2607.01238
Mazumdar Halychanskyi Guo Hasegawa\-Johnson Kindratenko

Yurii Steven Mark Volodymyr1 美国伊利诺伊大学厄巴纳-香槟分校 2 美国国家超级计算应用中心 priyamm2@university\.edu, yuriih2@illinois\.edu (https://arxiv.org/html/2607.01238v1/mailto:[email protected],%[email protected])

###### 摘要

近期语音合成领域的进展已从音素表示转向直接的字素建模。虽然音素解决了文本与声学之间的一对多映射问题，但其依赖的字素到音素（G2P）系统无法捕捉说话人特定的声学变异性。先前研究表明，基于字素的模型在大规模数据上优于基于音素的系统，但在低资源设置中并非如此。

本文提出 SPARCLE，一种说话人感知的字素表示模型，它将字符与其精确的声学实现相富集。SPARCLE 通过对比目标进行训练，在条件于说话人身份的同时，将字素与对应的 Wav2Vec2 声学表示对齐。所得模型可作为下游文本转语音（TTS）任务中 G2P 系统的替代方案。我们证明 SPARCLE 提升了生成质量，在极端低资源设置下，与标准字素模型相比，词错误率降低了一半。

###### 关键词：

文本转语音合成，字素到音素转换，声学对齐

## 1 引言

生成建模近期在多模态领域取得了显著进展 [ramesh2022hierarchical, saharia2022photorealistic, brown2020language, agostinelli2023musiclm]，语音合成受益匪浅 [chen2024f5tts, wang2023valle]。音素长期以来一直是流行的输入选择，因为它们显式编码发音并缓解一对多映射问题（即单个字素序列可能产生多种声学实现）[cheng2024survey]。使用标准音素清单（如国际音标 IPA）也有利于多语言合成，避免了跨语言管理不同字素集的需要 [adams2019massively]。

然而，基于音素的方法依赖字素到音素（G2P）转换，这需要口音和方言感知模型。训练此类 G2P 系统通常依赖于昂贵的音素标签，或手工规则和发音词典，这些开发成本高且难以扩展 [cheng2024survey]。同时，近期研究表明，当训练数据足够时，基于字符的模型可以在合成质量上匹配甚至超越基于音素的系统 [kharitonov2023speakreadprompthighfidelity]，这促使现代文本转语音（TTS）框架（如 F5-TTS [chen2024f5tts]）直接采用字素。

本文提出一种模型，它在条件于从对应语音中提取的说话人嵌入的同时，用细粒度、上下文相关的嵌入来富集字素输入，这些嵌入捕获字符的确切声学实现。

请见图1：SPARCLE 架构
## 2 相关工作

对比学习已成为跨不同模态学习联合嵌入空间的有力范式。其主要任务是直接优化表示，使得来自不同模态的语义对应输入被映射到接近的位置。一个启发我们的重要工作是对比语言-音频预训练（CLAP）[clap]，它学习联合音频-文本表示。

CLAP 在文本编码方面存在两个限制：1）CLAP 依赖配对的音频-文本数据，其中文本模态由标题、标签或语义描述符组成，而非精确的语言转录。2）CLAP 在序列级别执行对比学习，将整个音频片段与对应的文本描述对齐，而不是学习更细的时间或语言粒度（如字符）。

已提出多种神经 G2P 模型，包括基于 ByT5 的多语言 G2P 系统 [byt5g2p]，它在 100 种语言上训练。由于对齐的文本-音素语料稀缺，这些方法依赖于提供单词与其 IPA 转录之间映射的发音词典。因此，训练在词级别而非话语级别进行。这限制了模型捕获由上下文效应（如协同发音 [coarticulation]）、韵律和说话人特定发音引起的语音变异的能力，所有这些都依赖于更广泛的话语语境而非孤立的单词。

## 3 方法

在 TTS 系统中使用字素的主要限制是发音歧义 [Han2024]。许多语言（如英语）具有不一致的拼写-发音映射。例如，单词 "read" 可以音标化为 /riːd/ 或 /rɛd/，取决于时态，即使字素序列相同。这种不一致性促使在 TTS 系统中使用 G2P 转换作为输入表示；然而，这种方法常常忽略 G2P 规则通常是方言特定的事实 [phonetic\_transformations]。

我们的建议是通过对比预训练直接将声学信息注入字符级别（字素级别）模型。通过将字素输入与声学线索结合，模型将在没有显式音素标注的情况下学习上下文敏感的发音模式。这也使我们能够利用大量高质量的字素转录语音数据集。

### 3.1 字符对齐

为了提取声学嵌入，我们利用了 Wav2Vec2 [baevski2020wav2vec20frameworkselfsupervised] 系列模型。为了实现字符级对比学习，有必要从声学模型中获得与转录中每个字母对应的嵌入。为此，我们对每个转录与其对应音频进行强制对齐，记录与每个字符相关的声学嵌入索引。最终结果是转录中每个字母与来自 Wav2Vec2 的相应嵌入向量集合之间的映射。

此操作在整个 Librispeech-960h [librispeech] 数据集上执行，创建了丰富的字符-声学对集合，跨越数千个话语和大量说话人。

### 3.2 说话人身份

为了创建说话人感知模型，我们需要捕获说话人身份的嵌入向量。我们避免学习说话人特定的嵌入矩阵，因为这会妨碍对涉及未见说话人的下游任务的泛化。相反，我们采用 FaCodec 音色嵌入 [facodec]，原因有二：1）我们发现 FaCodec 音色嵌入在说话人之间提供了强分离，即使在存在口音语音的情况下也是如此。2）这些嵌入是从预训练的、说话人不可知的模型中提取的，它们能够在新说话人出现时无需重新训练或调整即可实现稳健的说话人身份条件化，至少对于英语是如此。此外，FaCodec 模型可以仅使用音频样本进行完全训练 [zhang2023amphion]，使得该架构易于适应未来的新方言和语言。

### 3.3 字符 Transformer

字符 Transformer（如图 1 所示）作为一个标准编码器风格的 Transformer 运行，在字符级别进行训练，令牌限制为大写字母 A–Z 和一个空格字符。尽管 Transformer 通过自注意力捕获全局上下文信息，我们假设字符的发音在很大程度上依赖于其局部邻居。例如，一个字母的发音方式可能根据其周围的字母而变化。为了显式建模这种邻居上下文，我们在字符嵌入上应用核大小为 3 的一维卷积。得到的短上下文嵌入然后与原始字符嵌入拼接，并投影到 Transformer 的输入维度。

为了在说话人身份上条件化模型，说话人嵌入在处理之前被预置到字符嵌入序列之前。由于 FaCodec 音色嵌入表现出高方差，我们在拼接前应用单位归一化。此外，随机 dropout 以 p=0.5 应用，以减轻对训练数据中说话人集合的过拟合。编码后，说话人令牌被丢弃，结果序列用于计算对比损失目标。

架构遵循标准基础 Transformer 形状：12 个块，每个块有 12 个注意力头，嵌入维度为 768。所有字符嵌入维度为 128，邻居卷积计算额外的 128 维嵌入。它们被拼接成 256 维特征向量，然后投影到 Transformer 的嵌入维度。

### 3.4 一对多对比预训练

表1：不同数据集持续时间下的 WER 和 EER 比较。"Char Embeddings" 是使用标准字符嵌入的 ParrotTTS，"Phone Embeddings" 是使用来自 g2p\_en phonemizer 的音素嵌入的 ParrotTTS，其他模型均使用我们的 SPARCLE 架构，训练期间解冻不同数量的层（由 K 指示）。带或不带来自 FaCodec 的音色嵌入的 SPARCLE 比较分别标识为 +/- T。

我们利用对比学习将我们的字符嵌入与其对应的声学嵌入对齐。然而，字符与声学帧之间的映射本质上是多对的：平均而言，每个字符令牌 A–Z 对应大约 2.8 个 Wav2Vec2 嵌入，而每个空格字符对应大约 6.7 个嵌入。为了将这个可变长度的映射转换为每个字符的单个固定大小目标，我们采用注意力池化机制处理 Wav2Vec2 嵌入。在此设置中，Wav2Vec2 模型保持冻结，没有可训练参数。

对于每个字符，我们使用字符嵌入的学习投影计算其相关声学嵌入的注意力权重。这些权重允许模型提取最相关的声学帧，生成池化后的音频嵌入。字符和池化后的声学嵌入然后进行 L2 归一化，计算每对之间的余弦相似度，产生 \(N\) 个目标和 \(N^2 - N\) 个负样本。我们使用恒定的温度参数 0.1 在计算对比损失之前缩放 logits。

### 3.5 预训练细节

所有模型训练 200K 步，并取测试数据上最佳检查点。它们在 4 块 GH200 GPU 上以 1024 个转录/音频对的批量大小进行训练。我们使用 1e-4 的学习率，在整个训练过程中进行余弦衰减，同时权重衰减为 0.1。最后，任何短于 2 秒或长于 20 秒的音频都被从数据集中移除。

## 4 实验细节

表2：在 1 小时 VCTK 训练数据下，SPARCLE 相对于字符基线的效果。每个 TTS 后端分别报告结果。

我们将 SPARCLE 作为字符嵌入的即插即用替代品，在两个 TTS 后端中进行评估：（i）ParrotTTS [parrottts]，一个模块化系统，它从文本中预测离散的自监督单元，并使用单独的神经声码器合成波形；以及（ii）VITS [vits]，一个端到端 TTS 模型。我们的目标是评估 *说话人感知的、声学基础的字符嵌入* 是否能够提高发音准确性和说话人一致性，特别是在低资源多说话人训练中。

### 4.1 数据

SPARCLE 预训练。SPARCLE 在 LibriSpeech-960h [librispeech] 上进行预训练。使用强制对齐将转录字符与声学帧关联，SPARCLE 被训练将字符嵌入与冻结的 Wav2Vec2 表示 [baevski2020wav2vec20frameworkselfsupervised] 对齐。除非另有说明，我们使用 Wav2Vec2-Large 的层 -17（第 8 个隐藏表示）作为声学目标，我们发现该层在我们测试的层中提供最强的语音监督。

下游 TTS。下游合成在 VCTK v0.92 [vctk] 上进行训练和评估，使用 microphone mic2，共 108 个说话人。我们构建说话人平衡的低资源训练子集，同时保持说话人集在所有预算中固定。我们考虑训练预算为 10 分钟、30 分钟、1 小时、5 小时和 10 小时，分别对应于（10 分钟）约 1 个话语/说话人、（30 分钟）约 5 个话语/说话人、（1 小时）9 个话语/说话人、（5 小时）45 个话语/说话人、（10 小时）91 个话语/说话人。所有配置都在一个 *固定的* 保留测试集上进行评估，该测试集包含跨说话人采样的 512 个话语；此测试集同时用于两个后端和所有训练预算。

选择 VCTK 是为了明确评估模型对领域迁移的鲁棒性。SPARCLE 模型在 LibriSpeech 上预训练，该数据集主要由美国英语说话人组成 [globe]。相比之下，VCTK 主要由英国英语说话人主导。这在预训练和下游微调数据之间引入了自然的领域不匹配，使我们能够评估 SPARCLE 在超出其原始训练分布之外的泛化能力。

### 4.2 后端与 SPARCLE 集成

ParrotTTS。我们用 SPARCLE 输出替换 ParrotTTS 的标准字符嵌入层，然后接一个线性投影层，投影到 ParrotTTS 模型维度。非 A–Z 符号（例如标点符号）由一个小型辅助嵌入表处理，该表随机初始化并与下游 TTS 模型联合训练。

ParrotTTS 依赖以 ASR 风格训练的 aligner。在我们的设置中，aligner 直接对字符序列进行操作，并生成字符级别的持续时间估计。这些持续时间被用作下游持续时间预测器的真实标签监督。aligner 和声码器在所有实验中保持固定：它们在完整 VCTK 训练集上训练一次，并用于所有低资源预算，确保观察到的差异完全归因于语言表示的变化。

VITS。我们类似地集成 SPARCLE：SPARCLE 替换初始字符嵌入查找，其输出被投影到 VITS 文本编码器的隐藏大小。VITS 架构的其余部分（文本编码器堆栈、持续时间建模、流和解码器）保持不变；SPARCLE 仅改变输入表示。

### 4.3 微调机制与说话人条件化

我们从两个轴评估 SPARCLE：（i）在下游 TTS 训练期间有多少 SPARCLE 被适应，以及（ii）SPARCLE 是否在说话人身份上条件化。

适应深度。在所有情况下，SPARCLE 从 LibriSpeech 预训练检查点初始化。我们改变哪些 Transformer 块是可训练的：

- • 冻结：SPARCLE 用作固定特征提取器。
- • 部分微调（\(K \in \{1,3,7\}\)）：我们解冻最后的 \(K\) 个 Transformer 块，并与下游 TTS 模型联合训练。
- • 完全解冻：所有 SPARCLE 层与下游训练联合微调。

此设置探讨了将 SPARCLE 适应到下游领域与保留其预训练信号之间的权衡。

说话人条件化。我们报告有无音色条件化的结果。对于音色条件化，我们预置一个特殊的说话人令牌，其值是目标说话人的 FaCodec 音色嵌入 [facodec]。Dropout 以 p=0.5 应用，