speech-tokenization

StreamAlign 是一个流式文本对齐语音分词框架，能够实现语音-文本联合建模的实时处理，降低延迟，并在语音识别和口语建模任务上达到最先进的性能。

本文介绍了PINT，一种不变语音分词方法，该方法通过平行话语间的对齐损失微调SSL编码器以提取语言内容，实现了说话者探测准确率和语言模型困惑度的显著降低。

提出了一种说话人解耦的音节标记化方法，利用分块回归从原始语音中学习语言内容标记，在音节边界检测和聚类方面达到最先进水平，并提升了语音语言模型的性能。