内容即所存：从平行话语中提取不变语音分词

# 内容即本质：基于并行话语的不变语音标记化  
来源：https://arxiv.org/html/2607.19033  
Wagner Thallinger Stankovic Zusag  

###### 摘要  

离散语音标记化旨在将语义信息与声学信息解耦，然而从自监督学习（SSL）模型（如HuBERT）中提取的目标仍保留非语言变异性：说话人身份、韵律和信道条件会泄漏到标记中，从而增加熵。我们的见解是：当足够多的说话人在不同条件下发出相同的词语时，语言内容是唯一共享的因素。我们提出 PINT（并行不变标记化），通过并行话语和对齐损失微调 SSL 编码器并加以数据增强，以提炼这一共享的本质。PINT 将相同词语压缩为一致的标记序列，大幅降低条件熵。与 ASR 文本不同，PINT 标记保留了帧级时间对齐，并可作为音频编解码器的即插即用语义目标。实验表明，说话人探针准确率相对降低 98.7%（93.1%→1.2%），ABX 错误率降低 42%，语言模型困惑度相较基线降低 27–30%，这证实了正确的不变性是高效学习的关键。¹¹¹模型：https://github.com/nyrahealth/PINT

###### 关键词：  
语音编码、语音标记化、离散表示、语音压缩、鲁棒内容表示  

## 1 引言  

NLP 中的子词标记化之所以成功，部分原因在于尊重信号潜在结构的离散化能够生成高度可压缩且对自回归模型高度可预测的序列。离散语音标记化将这一前提扩展到音频，支持基于 LM 的语音生成、对话和跨模态推理 [borsos2023audiolm, zhang2023speechgpt, defossez2024moshi, wang2023viola]。在当代语音编解码器和语音生成系统中，标记通常以分解表示（每时间步/帧）出现：*语义*标记应捕获语言内容，而*声学*残差层则建模说话人、韵律及其他信号细节 [zhang2024speechtokenizer, wu2023audiodec, defossez2024moshi]。

**干扰泄漏问题。** 语音标记化器中的语义标记通常通过蒸馏 [zhang2024speechtokenizer, defossez2024moshi] 将中间 SSL 特征（通常是 HuBERT [hsu2021hubert] 或 WavLM [chen2022wavlm]）离散化到码本中，或使用双编码器，其中一个编码语义，另一个填补空白 [xy-tokenizer]。然而，这些编码器会泄漏非语言变异性：说话人身份仍可恢复 [qian2022contentvec, yeh2024completeness]，且仅由声学扰动即可使标记序列变化超过 40% [gat2023augmentation]，这种脆弱性已被发现与下游性能下降相关 [vashishth2024stab, chang2025dcspin, zhong2025accent]。形式上，设 ccc 表示语言内容，z\mathbf{z}z 表示标记序列。当相同 ccc 的不同实现产生不同的 z\mathbf{z}z 时，条件熵 H(z∣c)H(\mathbf{z} \mid c)H(z∣c) 因非语言变异性而远离零。这种泄漏既妨碍序列可压缩性，也损害受益于解耦内容与风格表示的应用，例如口音转换 [zhong2025accent]、语音转换 [qian2022contentvec] 和表现力合成 [zhang2025vevo]——这些应用中，下游模型被迫解除本可被更清洁表示避免的纠缠。相比之下，一个干净解耦的表示将允许模型独立于内容操作风格。

**相关工作。** ContentVec [qian2022contentvec] 和 DC-Spin [chang2025dcspin] 通过对比或聚类目标追求说话人不变性；Gat 等人 [gat2023augmentation] 和 NAST [messica2024nast] 针对增强鲁棒性；StableToken [song2025stabletoken] 通过多分支投票实现噪声不变性，但未解决说话人或韵律变化。在编解码器方面，SpeechTokenizer [zhang2024speechtokenizer]、Moshi/Mimi [defossez2024moshi]、DualCodec [dualcodec]、XY-Tokenizer [xy] 和 SAC [sac] 各自通过蒸馏、双编码器或分流量化改进了语义-声学解耦。然而，所有这些方法都将特征（HuBERT、WavLM、Whisper [whisper] 或 w2v-BERT [w2vBert]）作为语义目标，而未处理这些表示中已存在的干扰泄漏。PINT 则正交于此：它不重新设计编解码器架构，而是清理上游编码器，生成不变表示，可作为任何这些框架的即插即用目标。

**PINT：公式与方法。** 我们认为，一个标记只有满足双重标准才是真正的语义标记：*内容捕获*：它携带足够的语音信息；*干扰不变性*：它丢弃其他一切信息。干扰不变性驱动 H(z∣c)→0H(\mathbf{z} \mid c) \to 0H(z∣c)→0，确保相同内容映射到相同标记序列。这使得游程编码（RLE）和字节对编码（BPE）能够折叠冗余帧，大幅提高比特率效率和自回归建模的可预测性，因为剩余熵反映了真正的语言结构，而丢弃了其他因素。

我们引入 PINT 通过并行数据实现这一点：当多个说话人在不同条件下说出相同句子时，语言内容是唯一共享的因素。通过使用并行数据对齐损失和激进的数据增强微调 HuBERT 编码器，PINT 提炼这一共享本质，留下内容作为唯一一致的信号。与 ASR 派生的文本标记不同，PINT 保留了帧级时间对齐，便于集成到现代音频编解码器架构中。

其回报是可测量且模型无关的：一个相同的 85M 参数解码器专用 Transformer 在 PINT 标记上的困惑度比 HuBERT 或 WavLM 标记低 27–30%，仅用 2/3 的训练步数即可达到 WavLM 的最终困惑度——这表明不变性，而非架构，才是标记质量的约束条件。

**贡献。**  
(1) 我们通过内容捕获和干扰不变性的双重标准形式化语义语音标记化，表明干扰泄漏直接增加条件熵并损害可压缩性。 (2) 我们提出 PINT，一个利用并行数据和增强的训练框架，联合优化连续和离散表示，同时满足两个标准。 (3) 我们证明 PINT 产生高度可压缩的内容标记，将说话人探针准确率降低 98.7%（93.1%→1.2%），ABX 辨别能力提高 42%，与 HuBERT/WavLM 相比，LM 困惑度降低 27–30%（测试困惑度 1.95 vs. 2.78/2.67）。

## 2 方法  

### 2.1 数据与并行监督  

训练和评估使用四类英语语音，总结于表1（https://arxiv.org/html/2607.19033#S2.T1）。**真正并行语料库**（ARCTIC、CHAINS、CSTR-VCTK、EnDialects、ESD、TIMIT）提供同一文本在不同说话人、口音、说话风格和情感条件下的多份录音，产生自然对齐的话语组，覆盖广泛的变异性。**非并行语料库**（LibriSpeech 960h、Tedlium-3 374h）扩展了语言和声学覆盖；由于缺乏共享文本，通过随机增强（如加性噪声（白、棕、粉红）、混响、速度/音高扰动以及信道失真）在同一批内应用于相同话语，从而即时形成伪并行对。此外，我们使用 Kokoro [kokoro] 为这些数据集合成多个并行样本。**仅用于评估**：RAVDESS [ravdess]（情感探针）和 6k 小时 LibriLight 干净子集用于 LM 训练。**噪声**：我们将噪声 [noise] 作为并行数据（训练时文本为空）处理。所有语料库均使用 Montreal Forced Aligner（MFA）[mfa] 进行强制对齐，以获得词级时间戳。评估使用严格排除训练的数据：CSTR-VCTK 保留 10% 的说话人；TIMIT 和 LibriSpeech 使用标准非重叠划分；对于没有官方划分的语料库，所有共享归一化文本的话语被分配到同一划分，以防止文本泄漏。²²² 表1（https://arxiv.org/html/2607.19033#S2.T1）中的“Use”列标示每个语料库的角色：T=阶段A训练，KM=kkk 均值拟合，I=不变性评估，LM=语言模型。

**表1：数据集统计与并行属性。** 小时：使用的总音频时长；#S：并行样本数；#G：并行组数。Use 编码：T=阶段A；KM=kkk 均值；I=不变性评估；LM=语言模型。

| 数据集 | 小时 | #S | #G | 并行属性 | Use |
| :--- | :--- | :--- | :--- | :--- | :--- |
| ARCTIC [arctic] | 13.7 | 15组1515k | 1134 | 口音/方言 | T |
| CHAINS [chains] | 9.6 | 66k | 56 | 口音、速度、风格 | T |
| CSTR-VCTK [cstr] | 82.5 | 8888k | 13615 | 口音/方言 | T I |
| EnDialects [english-dialects] | 30.4 | 1717k | 2273 | 口音/方言 | T |
| ESD (EN) [esd] | 13.3 | 1717k | 383 | 情感 | T |
| RAVDESS [ravdess] | 1.4 | 720 | 2 | 情感 | I |
| SynSpeech [synspeech] | 196.6 | 109109k | 109 | 合成 | T |
| TIMIT [timit] | 3.7 | 4.44.4k | 452 | 标准 | T KM |
| Noise [noise] | 30.0 | 1010k | 1 | 噪声 | T I |
| LibriSpeech [librispeech] | 120.4 | 7373k | —— | 非并行 | T I |
| Tedlium-3 [tedlium3] | 374.8 | 244244k | —— | 非并行 | T |
| LibriLight [librilight] | 6000 | — | — | — | LM |

### 2.2 模型概述  

PINT 以 HuBERT-base [hsu2021hubert] 为基础。给定波形 x\mathbf{x}x，编码器产生连续的帧级特征，作为解码器分支的输入，通过交叉熵（CE）预测音素序列。在阶段B，增加一个 ID 序列头，输出在 K=200K=200K=200 个离散码加上一个空白符号上的 logits，用于连接时序分类（CTC）训练 [graves2006ctc]。

### 2.3 阶段A：并行不变性训练  

小批量包含索引为 b∈{1,…,B}b \in \{1,\dots,B\}b∈{1,…,B} 的话语，其中 gbg_bgb 表示文本组索引。

**(1) 序列级软动态时间规整（DTW）损失。** 令 Hb=[hb,1,…,hb,Tb]∈RTb×D\mathbf{H}_b = [\mathbf{h}_{b,1},\dots,\mathbf{h}_{b,T_b}] \in \mathbb{R}^{T_b \times D}Hb=[hb,1,…,hb,Tb]∈RTb×D 表示话语 bbb 的编码器帧特征，其中 TbT_bTb 是帧数，DDD 是特征维度。对于每个正并行对 (i,j)(i,j)(i,j) 且 gi=gjg_i = g_jgi=gj，设 P\mathcal{P}P 是小批量中所有此类对的集合。软DTW [cuturi2017softdtw] 计算 Hi\mathbf{H}_iHi 和 Hj\mathbf{H}_jHj 之间的距离 dijsdtwd_{ij}^{\mathrm{sdtw}}dijsdtw，并按最大序列长度归一化：

Lsdtw=1∣P∣∑(i,j)∈Pdijsdtwmax(Ti,Tj).\mathcal{L}_{\mathrm{sdtw}} = \frac{1}{|\mathcal{P}|} \sum_{(i,j) \in \mathcal{P}} \frac{d_{ij}^{\mathrm{sdtw}}}{\max(T_i, T_j)}.Lsdtw=∣P∣1(i,j)∈P∑max(Ti,Tj)dijsdtw. (1)

由于并行对仅共享语言内容，而在说话人、风格、录制条件等方面不同，最小化此损失迫使编码器为内容输出一致的表示并抑制干扰变化。

**(2) 词级对比损失。** 使用强制对齐得到的词边界，我们通过平均每个词跨度上的编码器帧来计算词表示：vb,m=1∣Tb,m∣∑t∈Tb,mhb,t\mathbf{v}_{b,m} = \frac{1}{|\mathcal{T}_{b,m}|} \sum_{t \in \mathcal{T}_{b,m}} \mathbf{h}_{b,t}vb,m=∣Tb,m∣1∑t∈Tb,mhb,t。正对 V+\mathcal{V}^+V+ 由跨并行话语的相同词位置组成；负对 V−\mathcal{V}^-V− 由音素集 Jaccard 相似度低于阈值 τneg\tau_{\mathrm{neg}}τneg 的词组成。³³³基于 Jaccard 的门控避免了来自音素相似负例的矛盾梯度。该损失吸引相同词表示并排斥不同词表示：

Lword=1−cos‾(V+)+λnegcos‾(V−),\mathcal{L}_{\mathrm{word}} = 1 - \overline{\cos}(\mathcal{V}^+) \; + \; \lambda_{\mathrm{neg}} \, \overline{\cos}(\mathcal{V}^-),Lword=1−cos(V+)+λnegcos(V−), (2)

其中 cos‾(⋅)\overline{\cos}(\cdot)cos(⋅) 是时长加权平均余弦相似度。这种吸引-排斥机制防止了单独使用 sDTW 损失可能导致的平凡坍塌，并进一步鼓励在词级对齐的表示。

**(3) 解码器 CE 损失。** 一个两层的 Transformer 解码器，通过对文本音素化得到的音素目标进行教师强制 CE 训练，通过交叉注意力关注编码器输出，确保*内容捕获*。阶段A的目标结合所有三个损失（所有 λ∗\lambda_*λ∗ 均为标量权重）：

LA=λsdtwLsdtw+λwordLword+λceLce.\mathcal{L}_{\mathrm{A}} = \lambda_{\mathrm{sdtw}} \mathcal{L}_{\mathrm{sdtw}} + \lambda_{\mathrm{word}} \mathcal{L}_{\mathrm{word}} + \lambda_{\mathrm{ce}} \mathcal{L}_{\mathrm{ce}}.LA=λsdtwLsdtw+λwordLword+λceLce. (3)

我们设置 λsdtw=0.5\lambda_{\mathrm{sdtw}} = 0.5λsdtw=0.5，λword=2\lambda_{\mathrm{word}} = 2λword=2，λneg=1\lambda_{\mathrm{neg}} = 1λneg=1，λce=10\lambda_{\mathrm{ce}} = 10λce=10。

### 2.4 阶段B：离散标记训练  

阶段A使用不变连续嵌入捕获内容，但通过事后 kkk 均值码本将其转换为标记并不能保证序列级最优性，因为聚类目标对跨并行话语的序列一致性不敏感。阶段B通过端到端优化直接针对离散序列一致性，同时联合微调所有组件，在连续和离散形式中都强制不变性：遵循 Lee 等人 [lee2022textless]，我们附加一个线性层，将编码器帧映射到离散单元词汇表上的 logits。对于每个文本组，教师（学生的 EMA 副本）处理一个锚定话语（对合成数据使用合成增强），通过逐帧 argmax 解码这些 logits 获得标记 ID，然后应用去重形成离散目标序列。这为每个组生成一个公共参考序列。学生使用 CTC 训练，将组内每个话语对齐到该共享目标。由于 CTC 允许多对一对齐，时长和语速的变化不会被惩罚，将所有说话人推向相同的离散输出。与 Lee 等人不同，我们采用学生-教师框架 [tarvainen2017meanteacher, data2vec] 进行端到端训练，而非冻结编码器。联合更新允许语义编码器与离散分区共同适应（禁止空白，因为去重使其不再必要）。Lmarg\mathcal{L}_{\mathrm{marg}}Lmarg 在批次级别促进均匀的 argmax 分布以避免坍塌，而 Lorth\mathcal{L}_{\mathrm{orth}}Lorth 通过抑制其原型向量间的相关性来提高码的可分离性。我们将离散损失相对于阶段A项的权重降低（λid=0.6\lambda_{\mathrm{id}}=0.6λid=0.6，λm,o=0.3\lambda_{\mathrm{m,o}}=0.3λm,o=0.3），以便连续不变性训练保持为主要学习信号。

## 3 实验  

我们从三个直接测试双重标准的维度评估 PINT：内容捕获（§3.1）以及不变性和鲁棒性（§3.2）。此外，我们评估由此启用的下游压缩收益。基线为 HuBERT-base 第9层和 WavLM-base 第12层，因为这些层已被发现最接近音素 [hsu2021hubert, chen2022wavlm]。除非特别说明，离散标记使用在 TIMIT 上拟合的 kkk 均值（k=200k=200k=200）作为基线。PINT 在远更小的词汇量下依然强劲，而基线退化更快并在 200 附近饱和；因此我们为所有系统使用 K=200 以实现直接可比性。消融：*dec-AR* 仅使用自回归音素解码作为损失；*dec-CTC* 仅使用 CTC 损失进行训练。