speech-llms

介绍了Latent-IM，一个从冻结的语音LLM中恢复交互管理的框架，利用基于激活的选择和引导来进行会话动作。相比未引导的主干模型，它将端到端动作准确率提升了12.5个百分点。

本文通过模拟两个Moshi模型实例之间的对话，利用CKA测量表征对齐并使用LSTM探针预测话轮边界，分析了全双工语音对话模型中的同步与话轮转换动态。