标签
本文提出 CoSTA,一个兼容性保留的后置框架,通过均值初始化的词表扩展、发音适配与对话适配,将生成词元空间与合成词元空间解耦,在保留原始语音 tokenizer 和解码器的同时实现约 1.7 倍的语音词元生成速度与更低延迟,且不损失响应质量。
本文研究了Mimi编解码器的语义标记,发现它们映射到如四音素和三音素这样的语音单元,并讨论了其对AI模型中语音标记化的影响。