使用Mimi编解码器进行元语言表征

# 使用Mimi编解码器进行元语言表征
来源：https://arxiv.org/html/2608.15799
Erin Pacquetet所属机构：SCIAM, 10 rue de Penthièvre, F-75008 Paris, France [email protected], [email protected], [email protected]
Nicolas Ballier所属机构：ALTAE, Université Paris Cité, F-75013 Paris, France

###### 摘要
基于编解码器的音频语言模型正在发展，但针对这种语音标记化表征的可解释性研究却很少。本文聚焦于Moshi语言模型11 (https://arxiv.org/html/2608.15799#bib.bib1) 神经编解码器中用于语义标记码本的2048个标记词典。我们表明，使用Mimi进行的ABX实验未能捕捉语义标记到音素实现的映射关系。通过将Mimi的表征与TIMIT语料库转录文本12 (https://arxiv.org/html/2608.15799#bib.bib8) 重新对齐，我们展示了语义码本的2048个标记ID对应于四音素、三音素、双音素、音素和亚音素实现。我们使用TIMIT转录文本作为证据，证明这些80毫秒语义标记表征基于音位变体表征的有效性，并探讨了在音位变体和亚音素层面对语音进行标记化的部分理论影响。

## 1引言
基于编解码器的音频语言模型最近兴起，它们通过先将波形转换为离散编解码器标记流，再将Transformer式序列建模应用于语音。神经音频编解码器使用多个码本（或层，通常通过残差向量量化，RVQ）压缩信号，每帧产生少量标记；然后训练Transformer预测标记序列，解码器再从这些预测重建波形。处理离散音频标记带来诸多益处：稳定的长上下文建模、可控的比特率和延迟（通过每秒标记数和使用的码本数量），以及在某些设计中，通过先预测粗糙层级再并行细化精细细节来实现更快的生成。此类技术正越来越多地用于对话代理或语音到语音翻译20 (https://arxiv.org/html/2608.15799#bib.bib2)，但关于声音和语音特征如何在这些神经音频编解码器中编码却所知甚少。随着对话代理追求实时交互和降低延迟，这导致了使用有限帧率（在我们的案例研究中为80毫秒帧）的编解码器设计。虽然这种设计无疑出于工程考虑，但将自然连续的声学信号离散化的决定引发了一个根本问题：学习的音频标记是否以与音系学（以及更广泛的语音学）所设定的类别相一致的方式划分信号？回答这个问题对于分析这些模型的内部表征以及评估是否存在替代方法来建模音素*层级都至关重要。

本文的目标是检验这两种表征在多大程度上重合。我们聚焦于Mimi，这是一个近期的流式神经编解码器，产生适合对话建模的多级标记序列。使用TIMIT（美国英语语音学及其计算建模的标准测试平台）及其时间对齐的语音转录文本，我们探究Mimi的码本标记能否映射到人工识别的音素上。这个看似简单的映射立即引发了实际的困难：标记帧和音素边界并非自然对齐；标记具有固定的帧率，而音素持续时间随上下文变化；并且与音段身份相关的信息可能分布在多个层级中。音频语言模型Moshi使用名为"Mimi"111https://huggingface.co/kyutai/mimi的神经音频编解码器生成和编码语音为离散音频标记。Mimi编解码器将音频波形量化为这些标记。它以12.5 Hz（帧/秒）的帧率运行。这意味着Moshi处理的每个音频"时间帧"，以及Temporal Transformer的每个时间步，对应于80毫秒(ms)的音频片段（1秒/12.5 Hz = 0.08秒或80毫秒）。Moshi的设计将声学和语义标记的生成集成在Mimi中。Mimi并非拥有完全独立的语义标记码本，其架构旨在将语义信息提炼到其量化过程的特定部分，从而有效创建富含语义的标记。Mimi将波形离散化为来自自监督语音模型WavLM6 (https://arxiv.org/html/2608.15799#bib.bib11)的音频标记。这允许语义-声学标记的流式编码和解码。WavLM6 (https://arxiv.org/html/2608.15799#bib.bib11)在Gigaspeech5 (https://arxiv.org/html/2608.15799#bib.bib20)的英语数据上以及使用VoxPopuli数据集29 (https://arxiv.org/html/2608.15799#bib.bib19)在欧洲议会的23种语言上训练。我们的方法在本质上是自下而上的。我们假设每80毫秒的音频区间由Mimi编解码器编码器中的一个标记编码。我们将码本_0标记（语义标记码本）映射到每个80毫秒区间，并将这些区间与TIMIT语料库的音素对齐数据重新对齐。由于一个80毫秒的标记可能无法捕捉到音素层级，我们无法依赖音素错误率(PER)指标（另一个原因是我们有一个包含2048个标记的词典对应于72个音素集）。基于英语语音中音素持续时间的标准研究19 (https://arxiv.org/html/2608.15799#bib.bib14);3 (https://arxiv.org/html/2608.15799#bib.bib9);18 (https://arxiv.org/html/2608.15799#bib.bib10)，一个合理的假设是，80毫秒的时间框架很可能捕捉到三音素、双音素、音素和"亚音素"（特别是元音片段）。我们部分复现了先前对编解码器的分析，例如使用SpeechTokenizer33 (https://arxiv.org/html/2608.15799#bib.bib22)：我们使用TIMIT训练数据将Mimi语义码本的标记表征与TIMIT语音数据转录文本在音素层、单词层和话语层进行匹配。我们发现单词对齐的转录文本最有助于捕捉语义标记表征的核心内容，为早期TIMIT分析中提出的单词音位变体网络提供了令人信服的表征。我们还利用这个可用的英语资源，相信语义码本表征可以用于未来部分复现先前对TIMIT数据的语音分析19 (https://arxiv.org/html/2608.15799#bib.bib14);3 (https://arxiv.org/html/2608.15799#bib.bib9);18 (https://arxiv.org/html/2608.15799#bib.bib10);4 (https://arxiv.org/html/2608.15799#bib.bib12)，从而提取用于音素识别任务32 (https://arxiv.org/html/2608.15799#bib.bib18)、方言学8 (https://arxiv.org/html/2608.15799#bib.bib16);7 (https://arxiv.org/html/2608.15799#bib.bib17)和计算方言学22 (https://arxiv.org/html/2608.15799#bib.bib15)的特征。例如，在1960年代为泰恩赛德语言调查研究Geordie（纽卡斯尔英语）的语音实现时，语言学家试图标注不同的分析层级。他们将OU（总体单位）视为主要范畴，这或多或少对应于音系层级，假设这种抽象对应于实现的类别。在这方面，音系范畴的映射并非单纯依赖于语音实现作为变音符号的概念，而是被设想为多种实现形式。PDV，即假设性双系变量，它假设可以提出某种亚分类形式来解释不同的状态，这对应于个体实现，例如在某些特定词汇实例中遇到的情况。因此，编解码器标记可能与基于四位代码的语料库转录中使用的代码非常相似（参见图1 (https://arxiv.org/html/2608.15799#S1.F1)）。如果（Mimi）编解码器标记一致地双射编码一部分声学信号，则可用于编码语音表征的极端细粒度。这种特性的另一个潜在应用是自动标注语码转换。

参见图1标题图1：泰恩赛德语言调查中的粒度层级，引自17 (https://arxiv.org/html/2608.15799#bib.bib26)本文主要有两大贡献。首先，我们使用一种方法和代码（可用于其他用于训练Mimi NAC的23种语言）建立了在TIMIT数据中可观察到的Mimi"语义"标记的初步清单。其次，我们讨论了这种语音标记化的理论影响，并证明了这种"语义"（实际上是音位变体）标记对语音学界的一些潜在益处。论文其余部分组织如下：第2节 (https://arxiv.org/html/2608.15799#S2)介绍了先前研究的主要神经音频编解码器(NAC)。第3节 (https://arxiv.org/html/2608.15799#S3)解释了我们如何分析Mimi码本以及我们如何组织语义标记与TIMIT训练数据的映射。第4节 (https://arxiv.org/html/2608.15799#S4)展示了我们的结果，第5节 (https://arxiv.org/html/2608.15799#S5)讨论了这些结果，第6节建议了未来的研究方向。第7节 (https://arxiv.org/html/2608.15799#S7)是结论。

## 2先前研究
### 2\.1神经音频编解码器研究
先前比较神经音频编解码器(NAC)的研究在文本到声音任务31 (https://arxiv.org/html/2608.15799#bib.bib7)上测试了神经编解码器，例如它们使用文本到语音从文本生成语音的能力，并应用UTMOS作为指标，一种语音MOS（平均意见分数）预测器26 (https://arxiv.org/html/2608.15799#bib.bib6)。它们主要研究了神经音频编解码器在解码端的可解释性，将神经音频编解码器的输出与人类判断进行比较。其他研究则专注于理解语音属性（如内容、身份和音高）如何在这些编解码器中编码，提出了分析和合成的两步方法25 (https://arxiv.org/html/2608.15799#bib.bib5)。尽管聚焦于SpeechTokenizer和BigCodec，25 (https://arxiv.org/html/2608.15799#bib.bib5)部分讨论了Mimi作为研究的四种当代神经音频编解码器之一，以评估其在压缩和解压缩音频同时保持高质量方面的能力。13 (https://arxiv.org/html/2608.15799#bib.bib3)研究了神经语音编解码器学习的潜在表征如何与质量相关，但也证明了量化潜在变量与原始语音信号的质量之间没有直接的、可解释的关系，进一步支持了神经语音编解码器表征比原始信号可解释性更低的观点。最后，23 (https://arxiv.org/html/2608.15799#bib.bib24)提出了一种编解码器类型学和全面的编解码器基准测试，将语音生成分析扩展到音频和音乐生成。

### 2\.2 Mimi ABX实验11 (https://arxiv.org/html/2608.15799#bib.bib1)
在发布Mimi编解码器时，11 (https://arxiv.org/html/2608.15799#bib.bib1)使用ABX判别任务测试了其语义标记潜在的语音表征。通过ABX错误率测量的语音可区分性评估27 (https://arxiv.org/html/2608.15799#bib.bib4)被用来表征语义标记表征空间的语音可区分性。该指标比较了同一三音素（例如"big"）的不同实例的嵌入之间的距离与来自同一说话者的最小差异对比三音素（例如"beg"）。较低的ABX错误率表示更好的语音可区分性。我们认为这个过程未能捕捉80毫秒语音在语音学上可能代表的内容。ABX假设的是音位表征，但对于80毫秒的语音切片，我们可能处于拉长元音的音素层级之下，并且对于许多辅音，我们处于辅音群层级。我们相信与Mimi标记相关的时间框架无法与音位表征保持一致，但很可能捕捉到复杂的协同发音现象：在语音学/音系学文献中已充分确立的邻近声音的相互影响。222最后，这种对语音信号的移动窗口观察方式对音素对齐非常敏感，而用于评估的语音可区分性评估数据集似乎并未经过人工检查。标记区间可能与音素或单词区间不对应，但仍能提供对齐材料（语音层面的音素、双音素、三音素；音系层面的音位变体、辅音群或音节）声学和语音特性的表征（编码）。

## 3材料与方法
### 3\.1模型
我们使用了Kyutai公开的部分推理代码，并从Hugging Face提取了Mimi模型的8个码本。333https://huggingface.co/kyutai/mimi。在本文中，我们仅研究了码本_0，这个据称对应于"语义"标记的码本，专门为此目的训练11 (https://arxiv.org/html/2608.15799#bib.bib1)。如11 (https://arxiv.org/html/2608.15799#bib.bib1)所述，在训练过程中，来自WavLM6 (https://arxiv.org/html/2608.15799#bib.bib11)的嵌入被蒸馏到一个单独的向量量化器中，产生语义标记，并与单独的声学标记组合用于重建。换句话说，模型构建者声称语义信息更可能被捕获在第一个码本（码本_0）中：这个码本的标记是通过从WavLM（一个包含从欧洲议会会议、委员会会议和其他活动中收集的23种语言超过40万小时音频的大规模多语言无标签音频数据集）蒸馏学习的。音频标记以12.5Hz运行，比特率为1.1kbps。语义标记与单独的声学标记结合用于解码阶段的重建。1 (https://arxiv.org/html/2608.15799#bib.bib33)证实这些码本（码本_1到码本_7）部分捕捉了韵律特征，如时长、音高和滑音。

### 3\.2数据
我们使用了TIMIT声学-语音连续语音语料库12 (https://arxiv.org/html/2608.15799#bib.bib8)的官方训练和测试划分，这是语音识别研究的标准基准。TIMIT数据集包含来自630位说话者的语音录音，涵盖八个主要的美国英语方言区，每位说话者阅读10个语音平衡的句子，旨在最大化音素和语音环境的覆盖。

数据划分。该语料库分为预定义的训练集和测试集。训练集包含来自462位说话者的4620条话语，测试集包含来自168位说话者的1344条话语，确保在方言区和说话者人口统计上的平衡。

数据结构。每条话语以16kHz、16位线性PCM波形文件提供，并附带句子、单词和音素层级的时间对齐转录文本。

### 3\.3方法
首先，我们将来自TIMIT训练和测试数据的音频文件编码为Mimi码本444我们使用了HuggingFace实现和Kyutai github。这些补充资源，以及用于重现性的代码（包