prosody

本研究首次探索从韵律模式反向预测文本：通过仅使用最低 12 个 Mel 频带（约 450Hz 截止的低通滤波）微调 Whisper 模型，实现了 36% 的词错误率，表明低频语音特征与词汇内容的关联远强于此前认知。

本研究考察了卢森堡语和法语双语政治演讲中的魅力韵律，发现说话者身份解释了大部分差异，而语言在声学特征上显示出系统性差异。

本文介绍了Hear2Act，一个统一的基准，用于评估韵律线索如何影响任务导向对话的决策。研究发现，当词汇证据不足时，韵律很重要，并且音频LLM通过显式的动作关注表示能获益。

本研究探讨了来自大型语言模型的上下文嵌入是否能预测普通话单音节词的口语时长和音高轮廓，结果表明其预测能力高于随机水平，并能将归一化基频轮廓反变换回毫秒时间尺度。

本文提出了一种基于参考的评估协议，用于评估语音到语音AI系统的韵律和节奏，通过匹配人类对话数据提供可解释的行为合理性检查。

介绍了MMEE，一个包含7种语言、34种情感类别、共10,000条话语的多语言多情感强调语料库，并在多种迁移设置下对强调检测模型进行了基准测试，发现多语言训练能显著提升鲁棒性，而单语言模型的零样本迁移能力有限。

一篇关于自动化演讲辅导系统的综述，回顾现有系统，引入一个涵盖发音、重音、韵律、节奏和内容忠实度的五维任务分类法，并指出了标注稀缺、口音公平性和低延迟反馈等开放挑战。

提出了 TextPro-SLM，一种通过处理口语输入使其类似于具备韵律感知能力的文本来最小化模态差距的语音大语言模型，以少量的训练数据实现了强大的副语言理解能力。