interleaved-modalities

本文揭示了交错式语音-文本语言模型在中间层隐式地将语音转录为文本，然后在文本空间中进行预测，再转换回语音，揭示了内部模态交互机制。