speech-tokens

本文提出 CoSTA，一个兼容性保留的后置框架，通过均值初始化的词表扩展、发音适配与对话适配，将生成词元空间与合成词元空间解耦，在保留原始语音 tokenizer 和解码器的同时实现约 1.7 倍的语音词元生成速度与更低延迟，且不损失响应质量。

This paper investigates the Mimi codec's semantic tokens, showing they map to phonetic units like quadphones and triphones, and discusses implications for speech tokenization in AI models.